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ПРЕДИСЛОВИЕ 


Настоящая брошюра подводит итоги выполнения первого этапа науч- 
ного проекта “Применение эволюционных методов математического мо- 
делирования в управлении объектами энергетики”, выполняемого совме- 
стно Харьковским государственным политехническим университетом и 
Харьковской ТЭЦ—5 при поддержке Российско—Американского Кон- 
сорциума по Генетическим Алгоритмам. Проект нацелен на поиск новых 
концептуальных решений интеллектуальной системы управления совре- 
менным энергогенерирующим предприятием, первый же его этап был на- 
правлен на разработку на базе генетических алгоритмов программного 
обеспечения для синтеза нейросетевых компонент будущей системы. 

Приняв решение опубликовать полученные на протяжении 1995— 
96 гг. результаты, мы поставили перед собой цель донести до широкого 
читателя ключевые идеи и эвристические приемы, используемые в эволю- 
ционном моделировании, продемонстрировать эффективность новых вы- 
числительных технологий для решения задач искусственного интеллекта. 
Стремление к предельной простоте и лаконичности изложения побудило 
нас структурировать брошюру на две части — основной раздел, излагаю- 
щий методические основы подходов, и Приложения, имеющие скорее 
справочный характер. Чтобы упростить читателю первые шаги в само- 
стоятельном моделировании искусственных нейронных сетей, мы снабди- 
ли брошюру результатами синтеза нейроэмуляторов и нейроконтроллеров 
для тестового динамического объекта, описав подробно в Приложениях 
структуру и параметры сетей. 

Пользуясь случаем, мы хотели бы выразить благодарность профессору 
Эрику Гудману, директору Российско—Американского Консорциума по 
Генетическим Алгоритмам, за его постоянное внимание к нашим исследо- 
ваниям в области генетических алгоритмов и всемерную информационную 
и консультативную помощь в осуществлении проекта. 


Авторы 


СОДЕРЖАНИЕ 


Список условных обозначений и сокращений 


Введение. О различных толкованиях термина «интеллектуальность» 


в управлении 
1. Генетические алгоритмы 
1.1. Представление генетической информации 
1.2. Генетические операторы 
1.3. Преимущественное право размножения сильнейших 
2. Искусственные нейронные сети 
2.1. Эволюция взглядов на высшую нервную деятельность 
2.2. Становление и развитие ИНС 
3. ГА-ИНС = Новая парадигма в управлении 
4. ГА+ИНС = Новая парадигма в моделировании 
5. Снова о генетических алгоритмах 
6. Виртуальная реальность и искусственный интеллект 
Заключение 
Терминологический словарь 
Именной список 
Список литературы 


Приложение 1. Результаты синтеза и анализ параметрической 


чувствительности нейроконтроллера 


Приложение 2. Эмулятор колебательного звена без затухания 
Приложение 3. Результаты синтеза и анализ параметрической 


чувствительности эмулятора колебательного звена с 
затуханием 

Приложение 4. Эмулятор колебательного звена с сильным 
затуханием 

Приложение 5. Виртуальный тракт управления на базе 
нейроэмулятора 

Приложение 6. Генетические алгоритмы и искусственные 
нейронные сети в Интернете 


97 


99 


СПИСОК УСЛОВНЫХ ОБОЗНАЧЕНИЙ И СОКРАЩЕНИЙ 


а, 6; — левая и правая границы области допустимых значений 1-той пе- 
ременной проектирования; 


СА-(А, А, А; А!) — хромосома; 

(00-0. (0).....с2м(0)) — текущая популяция генотипов; 

с — координаты центра активационной функции; 

Ю — желаемые выходы сети (выходной шаблон); 

е — ошибка на выходе сети; 

Е — среда, противостоящая адаптивной системе; 

Н — размер скрытого слоя сети; 

1 — реакция среды, противостоящей адаптивной системе; 

Ј — функционал качества системы управления; 

К — коэффициент усиления осциллятора; 

К — количество скрытых слоев сети; 

Г — количество генов в хромосоме; 

М — размер популяции; 

М — размерность пространства переменных проектирования, представ- 
ленных в вещественном виде; 

ре Р — вероятность применения генетических операторов; 

О — размер тренировочного набора шаблонов; 

Ф“ — поисковое пространство вещественных чисел; 

5 — взвешенная сумма входных сигналов нейрона; 

5 — оператор Лапласа; 

і — показатель времени (непрерывный или дискретный); 

Т — период колебаний осциллятора; 

и, — сигнал задания; 

и — сигнал управления; 

У — размер входного слоя сети; 

и’; — синаптический вес нейрона; 

мо — смещение нейрона; 

У’ — передаточная функция объекта; 

Х=(Х1,Х2,...Хм› — вектор переменных проектирования; 


х=(х,х) — переменные состояния в уравнении динамического объекта 
управления; 


х — переменная состояния нейроэмулятора динамического объекта; 

Х=(Х|, Х,, ..., Ху) — вектор входных сигналов сети; 

Х=(Х,,Х,,....Ху) — входной шаблон; 

у — выходной сигнал нейрона; 

У = (У,У А )— вектор фактических значений выходных сигналов 
сети; 

2 — размер выходного слоя сети; 


о — гиперкуб, на котором осуществляется решение задачи комбинатор- 
ной оптимизации; 


Д — оператор задержки; 

Ф — интерполяционная матрица; 

и(—А (0) — приспособленность особи; 

007) — средняя по текущему поколению популяции приспособленность 
особей; 

©; — ширина окна активационной функции /-того нейрона; 

т — репродуктивный план Холланда; 

0(0=(.00),...,им(0)) — вектор приспособленностей особей популяции; 

«Е © — генетические операторы; 

= — тренировочный набор шаблонов; 

С — параметр осциллятора; 

АОР — алгоритм обратного распространения (ошибки); 

ГА — генетический алгоритм; 

ИНС — искусственная нейронная сеть; 

НК (МС) — нейроконтроллер (пеџгосопігоПег); 

НЭ (МЕ) — нейроэмулятор (пеџгоетшаќог); 

ОУ — объект управления; 

САУ — система автоматического управления; 


КВЕ-сеть — трехслойная нейронная сеть с радиально-симметричной ак- 
тивационной функцией нейронов скрытого слоя; 
ХОК — логическая функция «исключающее ИЛИ». 


ВВЕДЕНИЕ. О РАЗЛИЧНЫХ ТОЛКОВАНИЯХ ТЕРМИНА 
«ИНТЕЛЛЕКТУАЛЬНОСТЬ» В УПРАВЛЕНИИ 


В последние годы среди специалистов в области теории автоматиче- 
ского управления наметился очевидный подъем интереса к новым нетра- 
диционным (то есть сформировавшимся вне рамок классической парадиг- 
мы, базирующейся на аппарате интегро-дифференциального исчисления) 
подходам, объединенным общей целью интеллектуализации систем 
управления. Наверное, трудно даже перечислить все те классификацион- 
ные признаки, по которым эти подходы разнятся между собой, но одной 
из основных граней различия является то, что именно положено в основу 
концепции интеллектуализации — формализованные каким-либо образом 
знания человека об объекте управления (ОУ), либо свойственные человеку 
приемы мышления, посредством которых он изучает окружающий мир и 
подчиняет его своим интересам. 

К первой группе подходов можно отнести, например, жестко детерми- 
нированные экспертные системы, а также более гибкие системы управле- 
ния на базе нечеткой (фаззи) логики (Ё177у 1051с). Второй подход реализу- 
ется в рамках эволюционных методов моделирования, под которыми мы 
подразумеваем генетические алгоритмы (ГА) и искусственные нейронные 
сети (ИНС). 

ИНС сегодня — это не столько совокупность заимствованных из ней- 
рофизиологии моделей параллельных вычислительных структур, сколько 
арена борьбы идей о природе интеллекта. Если первый этап становления 
ИНС можно охарактеризовать как попытку синтезировать из набора срав- 
нительно просто функционирующих нейронов некоторую упорядоченную 
структуру, способную выполнять сложные нелинейные преобразования 
«вход-выход», то сейчас, по мере достижения успеха в решении задач пер- 
вого этапа, передний фронт исследований перемещается в область психо- 
логии, когнитивных наук. Задача настоящего момента состоит в том, что- 
бы понять, какие сверхструктуры нейронов и как могут моделировать эле- 
ментарные акты мыслительной деятельности, а затем воплотить эти прин- 
ципы в работу систем управления. 

Мышление человека невозможно вне языка. Все явления внешнего ми- 
ра нашли отражение в языке в виде категорий. Слова представляют собой 
не просто наборы звуков, за каждым из них стоят какие-то конкретные, но 
достаточно общие представления. Изучая мир, мозг накапливает инфор- 
мацию, упорядочивает ее и далее происходит то, что психологи называют 
когнитивным сжатием. Эмпирические знания преобразуются в компакт- 
ную абстрактную форму, удобную для оперирования, которая, тем не ме- 


нее, несет в себе наиболее типические и важные в ракурсе решаемой ин- 
дивидом практической задачи черты объекта. 

Поскольку ясно, что кроме нейронов никаких других операционных 
единиц, участвующих в обработке информации, в мозге нет, логично 
предположить, что за каждым представлением, образом мира стоит кон- 
кретный фрагмент нейронной сети мозга. Создать образ объекта (или 
скорректировать уже имеющийся) означает тогда натренировать этот 
фрагмент так, чтобы его реакции на возбуждение не отличались от реак- 
ций объекта, известных из жизни. При этом сеть должна научиться хра- 
нить опыт общения с объектом не в виде хронологически или по какому- 
то другому принципу упорядоченных эпизодов, а в виде собственной 
структуры, то есть непосредственно послойной архитектуры и сил синап- 
тических связей между нейронами. 

Может быть, именно таким путем у индивида складывается внутрен- 
няя, свойственная только ему, картина мира, образы которой помогают 
осознать свое положение в мире, а также прогнозировать дальнейший ход 
событий. Человек ретроспективно “проигрывает” в голове прошлое и про- 
ецирует настоящее на будущее не только тогда, когда играет в шахматы. 
Знания о мире, а попросту говоря, прежний опыт составляет основу вир- 
туальной реальности, существующей в нашем сознании как отражение 
внешнего мира. Именно умение мысленно эмулировать мир, оперировать 
его образами и дает нам возможность планировать свое поведение, пред- 
видеть события и ориентироваться в пространстве потенциальных воз- 
можностей. 

То, что мы попытались сделать в настоящей работе, это продемонстри- 
ровать исключительно высокий потенциал сочетания двух вычислитель- 
ных технологий — ИНС и ГА — для решения задач синтеза интеллекту- 
альных систем управления. С одной стороны, наш интерес к ГА обуслов- 
лен их высокой эффективностью при решении задач глобальной оптими- 
зации вообще и как к потенциальной процедуре тренировки нейронной 
сети, в частности. Действительно, никто сегодня не отрицает, что многие 
широко известные техники тренировки (ВасКргорагайоп, КВЕ-сети) явля- 
ются существенно локальными со всеми вытекающими отсюда последст- 
виями, поэтому в этом отношении ГА не знает конкурентов. С другой сто- 
роны, интригующим представляется само сочетание ГА и ИНС. Оба на- 
правления относятся к эволюционному моделированию и как бы бросают 
вызов методам теории автоматического управления, обещая решить тра- 
диционные задачи, не привлекая такие базовые понятия классической па- 
радигмы как интеграл, дифференциал, динамическое звено ит. п. 

Базируясь на приведенных выше общих рассуждениях, нам удалось 
синтезировать нейросетевую модель системы управления, которая не 
только умеет строить внутренние представления о внешнем мире, прогно- 
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зировать поведение объекта управления, но также обладает способностью 
генерировать оптимальное управление в соответствии с требованиями эта- 
лонной модели. 


1. ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ 


По своей сути процессы адаптации являются оптими- 
зационными процессами ... 
Дж. Холланд, Предисловие к первому (1975) из- 
данию АдараНоп ір пашга! ара агіібсіа! ѕуѕетѕ. 


Пятнадцать лет должны были бы расставить все по 
своим местам и охладить пыл. Однако вопреки или благо- 
даря этому, я все еще нахожу Предисловие к изданию 1975 
года удивительно уместным. Единственное изменение, ко- 
торое я бы внес, это сделать большее ударение на совер- 
шенствовании и меньшее на оптимизации. Работа над бо- 
лее сложными адаптивными системами, например, эколо- 
гическими, убедила меня, что их поведение не описывается 
так уж хорошо траекториями вокруг глобальных оптиму- 
мов. Наоборот, соревнование между компонентами систе- 
мы, направленное на подавление ближайших конкурентов, 
определяет общее поведение. 

Дж. Холланд. Предисловие ко второму (1992) из- 
данию АдараНоп ір пашга! ара агіібісіа! ѕуѕетѕ. 


Современная библиография по генетическим алгоритмам давно пере- 
валила за 9000 наименований и продолжает непрерывно увеличиваться. 
Однако, несмотря на такое обилие литературы, довольно трудно точно 
сформулировать, чем именно они являются — квинтэссенцией эволюци- 
онных перестроек в природных популяциях организмов, универсальным 
средством описания адаптаций в популяциях искусственных объектов, или 
мощной поисковой процедурой с претензиями на решение задач глобаль- 
ной оптимизации. 

Мы намеренно начали этот раздел с сопоставления двух замечаний 
Дж. Холланда по поводу адаптации и оптимизации, сделанных им в пре- 
дисловиях к первому и второму изданиям его знаменитой книги [1], поло- 
жившей начало процессу распространения генетических алгоритмов в на- 
учных сообществах. Правда, генетическими они стали называться позднее, 
ав 1975 году Холланд называл их репродуктивными планами (гергодисйуе 
р1ап) и рассматривал прежде всего как алгоритмы адаптации. Но то сме- 
щение акцентов в трактовке понятия адаптация, о котором он как бы 
вскользь говорит в предисловии 1992 года, очень точно, на наш взгляд, 
передает то состояние замешательства, которое мы ощущаем и сегодня, 
пытаясь, с одной стороны, дать достаточно общее и непротиворечивое оп- 
ределение адаптации, а с другой стороны, разграничить понятия адапта- 
ции и оптимизации, адаптации и эволюции, адаптации и обучения. 
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При дальнейшем изложении основных идей ГА мы не будем придер- 
живаться стиля книги Холланда, а подойдем к ним как к процедуре гло- 
бальной оптимизации. Эта, хотя и несколько упрощенная по сравнению с 
холландовской, трактовка ГА вызвала сильный резонанс в литературе, и 
как показало время, вполне обоснованно. По большому счету, почти два 
десятилетия исследований ГА на тестовых многоэкстремальных функциях 
ушли на доказательство именно этой грани могущества ГА, оставив в не- 
которой тени их выдающиеся адаптивные способности. " 

Итак, ГА базируются на теоретических достижениях синтетической 
теории эволюции, учитывающей микробиологические механизмы насле- 
дования признаков в природных и искусственных популяциях организмов, 
а также на накопленном человечеством опыте в селекции животных и 
растений. 

Методологическая основа ГА зиждется на гипотезе селекции, которая 
в самом общем виде может быть сформулирована так: чем выше приспо- 
собленность особи, тем выше вероятность того, что в потомстве, получен- 
ном с ее участием, признаки, определяющие приспособленность, будут 
выражены еще сильнее. Поскольку ГА имеют дело с популяциями посто- 
янной численности, особую актуальность здесь наравне с отбором в роди- 
тели приобретает отбор на элиминирование. Стратегия элиминирования, 
призванная ответить на вопрос «От каких особей мы можем безболезненно 
отказаться?» составляет не менее важную компоненту современных ГА, 
чем стратегия отбора в родительскую группу. Чаще всего особи, обла- 
дающие низкой приспособленностью, не только не участвуют в генерации 
нового поколения, а элиминируются из популяции на текущем дискретном 
шаге (эпохе) эволюции. 

Впрочем, сказанное справедливо не только для ГА, а для любого чис- 
ленного метода оптимизации. Сама идея оптимальности, как верно подме- 
чено в [3], пришла в науку из биологии. Однако далеко не всегда мы отда- 
ем себе отчет в том, сколь многие методические приемы оптимального 
проектирования имеют корни в селекционной практике и являются приме- 
ром нашего не всегда осознанного подражания Природе. 


` Небезынтересно по этому поводу мнение другого ныне здравствующего «классика» 
ГА, Кеннета Ди Янга, внесшего огромный личный вклад в развитие ГА как самостоятельного 
научного направления. В [2] он пишет: «...легко впасть в заблуждение, воспринимая сами ГА 
как алгоритмы оптимизации, а затем удивляться и/или испытывать разочарование, когда они 
терпят неудачу в поиске ‘очевидного’ оптимума в определенном поисковом пространстве. Мое 
предложение по поводу того, как избежать такого самообмана, заключается в том, чтобы ду- 
мать о ГА как о (в высшей степени) идеализированном моделировании природного процесса и 
как о процедуре, воплощающей цели и задачи (если таковые вообще существуют) этого при- 
родного процесса. Я не уверен, найдется ли кто-нибудь, готовый ответить на вопрос, каковы 
цели и задачи эволюционных систем; однако, по правде говоря, такие системы вообще не вос- 
принимаются как оптимизаторы функций...». 
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Рис.1. Двойственность задач селекции, обусловленная ограниченностью числен- 
ности моделируемой популяции 


Убедиться в справедливости сказанного не трудно, если попытаться 
взглянуть на процедуру численной оптимизации через призму гипотезы 
селекции (см. Рис.2). 

Итак, обыкновенно проектирование начинают с формирования в поис- 
ковом пространстве области допустимых значений переменных и выбора в 
ней некоторых пробных точек. 

Далее итеративно выполняют следующие действия. Сначала при по- 
мощи математической модели устройства производят отображение точек 
из поискового пространства на пространство критериев, что позволяет со- 
ставить представление о рельефе поверхности критериев. Затем на осно- 
вании полученной информации и в соответствии с выбранной поисковой 
стратегией осуществляют некоторые манипуляции с координатами точек в 
пространстве переменных, завершающиеся генерацией координат новых 
пробных точек. 

Очерчивая в общих словах эту знакомую всем цепочку, отметим явно 
выраженный параллелизм между заложенной в ней идеологией поиска 
экстремума и тем, как решаются подобные по содержанию задачи в При- 
роде, при адаптации популяций организмов к факторам окружающей сре- 
ДЫ. 
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Эвристическая стратегия поиска 


Критерии эффективности 
Хх, х.) 


Переменные проекта 


Ё(х,,х)) 


Математическая модель 


Рис. 2. Циклическая структура процедуры численной 
оптимизации характеристик проекта 


Большинство эвристических поисковых стратегий представляют 
собой довольно очевидные логические решающие правила, выведенные 
путем обобщения реального или умозрительного опыта обитания в 
трехмерном пространстве. Например, представим себе, что ночь за- 
стала нас врасплох и нам предстоит без фонарика двигаться по пере- 
сеченной местности, например, взобраться на вершину пологого хол- 
ма. Ясно, что взяв в руки палку и ощупывая ею ближайшее окружение, 
мы получим требуемую информацию о локальном рельефе и будем 
двигаться в том направлении, в котором местность повышается, но 
не наоборот. Правильный выбор направления движения и величины 
шага гарантирует нам быстрый успех, если, конечно, поверхность 
холма гладкая, а не ухабистая. 


Действительно, практикуемый способ описания технических объектов 


при помощи векторов переменных проектирования подразумевает сим- 
вольное кодирование информации об объекте. Вектор переменных — да- 
же не чертеж, то есть глядя на него и не зная правил кодирования, невоз- 
можно составить представление об объекте. В определенном смысле мож- 
но утверждать, что категория “вектор переменных проектирования” играет 
в технике ту же роль, что и категория “генотип” в биологии. Группируя 
ключевые параметры объекта в вектор переменных, мы, по существу, при- 
даем им статус генетической информации. Именно генетической, потому 
что, с одной стороны, ее достаточно, для того, чтобы построить сам объект 
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(гипотетически — вырастить его), а во-вторых, она служит исходным ма- 
териалом при генерации генотипов объектов следующего поколения. 

А ведь именно такой смысл — генотипов потомков — имеют коорди- 
наты упоминавшихся новых пробных точек. Подобно тому, как в Природе 
скрещивание организмов осуществляется на генетическом уровне, в про- 
цедуре оптимизации координаты новых пробных точек получаются как 
результат манипулирования координатами старых. Причем, и здесь незри- 
мо присутствует гипотеза селекции — в качестве родительских всегда вы- 
ступают лучшие в фенотипическом отношении, а не произвольные точки 
(особи) из популяции потенциальных решений, неудачные же решения 
отбрасывают на текущем шаге (можно считать, что они вымирают). 

Здесь мы подходим, наконец, к тому, что именно отличает ГА на фоне 
других численных методов оптимизации. 

ГА заимствуют из биологии: 

® понятийный аппарат; 

® идею коллективного поиска экстремума при помощи популяции 

особей; 
® способы представления генетической информации; 
® способы передачи генетической информации в череде поколений 
(генетические операторы); 

® идею о преимущественном размножении наиболее приспособленных 
особей (речь идет не о том, даст ли данная особь потомков, а о том, 
сколько будет у нее потомков). 


1.1. Представление генетической информации 


Подобно тому, как природный хромосомный материал представляет 
собой линейную последовательность различных комбинаций четырех нук- 
леотидов (А — аденин, Ц — цитозин, Т — тимин и Г — гуанин), вектора 
переменных в ГА также записывают в виде цепочек символов, используя 
двух-, трех- или четырехбуквенный алфавит. Для простоты изложения 
рассмотрим случай бинарного кодирования, используемый при моделиро- 
вании эволюции гаплоидных популяций. 

Итак, будем считать, что каждая переменная х; кодируется определен- 
ным фрагментом хромосомы, состоящим из фиксированного количества 
генов (см. рис. 3). Все локусы хромосом диаллельны — то есть в любой 
позиции фрагмента может стоять как ноль, так и единица. Рядом стоящие 
фрагменты не отделяют друг от друга какими-либо маркерами, тем не ме- 
нее, при декодировании хромосомы в вектор переменных на протяжении 
всего моделируемого периода эволюции используется одна и та же маска 
картирования. 


14 


СА 1101110001000 оО 


Рис. 3. Простейшая маска картирования хромосомы, 
определяющая план распределения наследственной 
информации по длине хромосомы 


Хотя мы постоянно говорим о декодировании, на самом деле, прямая 
операция, понимаемая как операция кодирования вектора переменных Х в 
хромосому сд, в ГА не применяется. Хромосомы генерируются случай- 
ным образом, путем последовательного заполнения разрядов (генов), сразу 
в бинарном виде, и всякие последующие изменения в популяции затраги- 
вают сначала генетический уровень, а только потом анализируются фено- 
типические последствия этих изменений, но никогда не наоборот. 

В принципе, для декодирования генетической информации из бинар- 
ной формы к десятичному виду подходит любой двоично-десятичный код, 
но обычно исходят из того, что она представлена в коде Грея. Таблица 1 
воспроизводит в полном объеме процедуру декодирования фрагмента 
хромосомы в проекцию вектора переменных ҳ. 


Таблица 1 
алана фрагментов хромосом в проекции вектора переменных 


Двоично- Десятичное зна- 
ЕЕ ЕНЕНЕ. И ПОВ 
и |00012 1 9420.95 | 
сз 9430-9015 
о 0 |4 | 9405 — 
и |5 | 94456915 — 
[об 6 | 94645 
| | 8 948: 5 | 
1101 | 1001 | 9 | 095 | 
Гир [в [| анаа | 
и ом 0140-0015 | 
оо ОС ОЕ ООО ООО 


От кода Грея переходим к двоично-десятичному коду, а от него — к 
натуральным целым числам. Отношение полученного числа к максималь- 
ному числу, доступному для кодирования данным количеством разрядов 
фрагмента (по таблице 1 — число 15) и дает искомое значение сдвига пе- 
ременной относительно левой границы а; допустимого диапазона ее изме- 
нения, нормированного на ширину Ь-—а; диапазона. 

Из таблицы хорошо видно, почему код Грея имеет явные преимущест- 
ва по сравнению с двоично-десятичным кодом, который при некотором 
стечении обстоятельств порождает своеобразные тупики для поискового 
процесса. В качестве примера рассмотрим любые три рядом стоящие 
строки из таблицы 1, например, кодирующие сдвиг в 4, 5 и 6 единиц. 

Предположим, фрагменты хромосом, стоящие в пятой строке и коди- 
рующие число 5, принадлежат оптимальному вектору, являющемуся ре- 
шением некоторой задачи, а лучшая особь из текущей популяции содер- 
жит фрагмент хромосомы из строки 4. Такая ситуация благоприятна для 
обоих кодов. Достаточно выполнить всего одну операцию — заменить в 
четвертом разряде фрагмента 0 на | — и решение будет найдено. Более 
интересный случай получается, если лучшая особь содержит фрагмент из 
строки 6. Для кода Грея эта ситуация ничуть не сложнее предыдущей — 
замена 0 на 1 в третьем разряде опять приведет к успеху. В то же время 
двоично-десятичный код ставит нас в необходимость выполнить последо- 
вательно две операции — заменить 1 на 0 в третьем разряде и 0 на 1 в чет- 
вертом. С какой бы из них мы ни начали, результат не приблизит нас к 
решению (первый вариант замены переместит нас в четвертую строку, а 
второй — вообще в седьмую). А ведь это не самый худший пример — ра- 
ботать с сочетаниями 3-4, 7-8, 11-12 и т. д. строк в двоично-десятичном 
коде еще сложнее. Иначе говоря, если привлечь геометрические интерпре- 
тации, код Грея гарантирует, что две соседние, принадлежащие одному 
ребру, вершины гиперкуба ©”, на котором осуществляется поиск, всегда 
декодируются в две ближайшие точки пространства вещественных чисел 
Ф“, отстоящие друг от друга на одну дискрету точности. Двоично- 
десятичный код подобным свойством не обладает. 


1.2. Генетические операторы 


Те механизмы передачи наследственности, которые действуют в При- 
роде, и упрощенная форма которых положена в основу того, что мы назы- 
ваем генетическими операторами, на самом деле, следует рассматривать 
как победителей, одержавших верх в напряженной многовековой борьбе 
над конкурентами и отшлифованных естественным отбором в такой же 
мере, как и все, что нас окружает. Сегодня понятно, что генетические опе- 
раторы могли быть заимствованы не только из микробиологических ис- 
следований, но и из анализа языковых явлений (достаточно проанализиро- 
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вать комбинаторные эвристики, применяемые человеком при решении 
кроссвордов) или изобретательской деятельности [4]. Но это сегодня; а 
двадцать лет назад нужно было обладать гениальностью Дж. Холланда, 
чтобы догадаться, как интерпретировать принципы действия “биологиче- 
ских” механизмов для решения задач адаптации в искусственных систе- 
мах. 

Едва ли не главным итогом почти четвертьвекового периода исследо- 
вания самих ГА стало понимание прекрасной взаимной комплиментарно- 
сти триады генетических операторов «кроссовер — мутация — инверсия». 
Воздействуя с некоторой вероятностью на генотипы родительских особей, 
каждый из них, с одной стороны, обеспечивает передачу потомству жиз- 
ненно важных признаков, а с другой — поддерживает на протяжении эво- 
люционно значимого периода достаточно высокий уровень его изменчи- 
вости. Выщепление в потомстве новых, отличных от родительских, фено- 
типических признаков открывает для популяции дополнительные возмож- 
ности для адаптации, то есть способствует сохранению ею поисковой спо- 
собности. 

Итак, оператор мутации (см. рис. 4), подобно точечным мутациям в 
Природе, интерпретируется как замена существующего аллельного со- 
стояния отдельного гена в хромосоме на противоположное (единицы — на 
ноль и наоборот). Очевидно, что в зависимости от того, в каком разряде 
фрагмента, кодирующего переменную, произойдет мутация, зависит вели- 
чина расстояния, отделяющего потомка от родителя (речь идет не о хэм- 


= Мутация 
ПОВЕ ОО ПО ООШ 


Инверсия 
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Рис. 4. Триада генетических операторов 


Ххромо СОМЫ ПОТОМКОВ 


Родительские хромосомы 


У всех трех операторов место приложения, помеченное значком У, 
выбирается случайно 
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минговом пространстве 0“, где это расстояние равно 1, а о пространстве 
вещественных чисел Ф“). Инверсия приводит к нарушению порядка сле- 
дования фрагментов хромосом у потомка по сравнению с родительской 
хромосомой. Наконец, кроссовер, описывающий механизм гаметогенеза в 
диплоидных популяциях организмов и привнесенный Холландом в моде- 
лирование эволюции гаплоидных популяций, приводит к тому, что хромо- 
сома потомка включает два фрагмента, один из которых принадлежал ра- 
нее, условно говоря, отцовской хромосоме, а другой — материнской. 
Именно благодаря наличию кроссоверных обменов особи популяции об- 
мениваются между собой генетической информацией, то есть поиск при- 
обретает действительно коллективный характер. 

Иногда, говоря о триаде генетических операторов, подчеркивают спо- 
собность кроссовера и инверсии к глобальному поиску, в то время как му- 
тацию отождествляют со средствами локальной настройки решения, отво- 
дя ей фоновую роль. Такое распределение ролей представляется спорным, 
так как мутация может породить потомка далеко за пределами локального 
экстремума, в которой находится родитель, с другой стороны, кроссовер, 
проведенный над гаметами родителей, расположенных в общем экстрему- 
ме, наверняка породит потомков в этом же экстремуме. Важно другое — 
ни кроссовер, ни мутация не опираются в процессе генерирования потомка 
на знание локального рельефа поверхности целевой функции. В этом 
смысле их можно считать глобальными. 


1.3. Преимущественное право размножения сильнейших 


Стиль мышления, принятый в биологии, сильно отличается от техни- 
ческого мышления. В биологии мельчайшей единицей, значимой в эволю- 
ционном смысле и заслуживающей внимания, выступает популяция, а не 
отдельная особь. О том, насколько популяция адаптирована к среде, на- 
сколько благополучно она развивается, судят по динамике ее численности. 
Не столь интересно, стали ли рога у оленей ветвистее, важно, чтобы при- 
рост численности стада был положительным. Коэффициент размножения, 
усредненный по популяции, рассматривается как единственный и универ- 
сальный критерий приспособленности популяции к условиям обитания 
[5]. 

С другой стороны, индивидуальная приспособленность особи оказыва- 
ет прямое влияние на будущее популяции. Чем больше потомков данной 
особи доживет до репродуктивного возраста, тем большее число членов 
популяции будущего поколения будет нести ее аллели. «Приспособлен- 
ность, рассматриваемая как мера влияния генотипа на будущее, — пишет 
Холланд в [1], — представляет идею, полезную во всем спектре проблем 
адаптации. Хороший способ рассмотреть эту идею в более широком кон- 
тексте, это рассматривать тестирование генотипов как процедуру форми- 
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рования выборок (под выборкой — ѕатріе — Холланд подразумевает те- 
кущую популяцию — Прим.авт.). Пространство выборок в этом случае 
представляет собой набор всех генотипов ©, а результатом оценивания 
каждой структуры становится приспособленность Ик соответствующего 
фенотипа. Общий вопрос, связанный с приспособленностью, звучит так: 
«В какой степени оценка ик(<А) какой-либо структуры «АЕ © оказывает 


влияние или изменяет план т формирования новой выборки?» Оглядыва- 
ясь назад скорее чем вперед, мы сталкиваемся с другим взаимосвязанным 
вопросом: «Как история результатов тестирования предыдущих выборок 
оказывает влияние на текущий план формирования новых?» Ответы на эти 
вопросы уходят далеко к определению того, что составляет основу любого 
адаптивного процесса.» 

«Мы уже видели, — продолжает Холланд, — что ответ на первый во- 
прос, что касается генетических систем, состоит в том, что будущее влия- 
ние каждой особи «Ае © прямо пропорционально оценке приспособлен- 


ности ц:(22). Вообще, это отношение не обязательно — существует много 


признанных процедур для оптимизации, математического обучения и др., 
где отношение между оценкой качества и будущими структурами доволь- 
но другое. Тем не менее, воспроизводство в пропорции к достигнутому 
качеству является важной идеей, которая может быть обобщена с тем, 
чтобы сделать планы формирования выборок — репродуктивные планы — 
применимыми к любой задаче адаптации...» 

Таким образом, как мы видим, отличительной чертой репродуктивных 
планов Холланда является право более приспособленных дать большее 
количество потомков. 

Любопытно, но при условии неизменной численности популяции (а в 
компьютерном моделировании эволюции это условие невозможно игнори- 
ровать) применение принципа преимущественного размножения более 
приспособленных приводит к несколько неожиданному результату — в 
популяции размножаются как бы не сами особи, а гены. По существу, это 
эквивалентно понижению уровня рассмотрения системы: мы оперируем 
не особями, а генами. Гены борются друг с другом за выживание, сильные 
вытесняют из генофонда популяции слабых. 

Простой репродуктивный план включает две повторяющиеся процеду- 
ры. В течение первой из них дополнительные копии некоторых особей, 
обладающих приспособленностью выше среднего по популяции уровня, 
добавляются к текущей популяции „(1 в то время как некоторые особи с 
низкой приспособленностью элиминируются. Более точно, каждая особь 
получает возможность стать родителем с вероятностью, пропорциональ- 
ной ее приспособленности. В течение второй процедуры генетические 
операторы воздействуют на генотипы потомков, модифицируя наборы ал- 
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лелей так, чтобы исключить идентичность потомков и родителей. В ре- 
зультате получается новая популяция ‚3 (+1). Процесс итеративно повто- 
ряется, генерируя последовательность поколений генотипов. 

Заметим, что в контексте вышесказанного популяция имеет такое же 
отношение к процессу адаптации, как понятие состояния к законам физи- 
ки или передаточной функции к теории автоматов. Знание состава теку- 
щей популяции позволяет определить структуру следующего поколения, 
не обращаясь к предыдущему. Обобщенным оператором, выполняющим 
преобразование 2(1) в (1+1) и является репродуктивный план т. Моди- 


фицируя генотипы генетическими операторами @є © в рамках возможно- 
стей, ограниченных структурой ©, репродуктивный план генерирует новые 
особи, более приспособленные к среде Е. Обозначив через [(1)= џ:(22(1) 
реакцию среды, противостоящей адаптивной системе, Холланд дает сле- 
дующее символическое определение репродуктивному плану 

тІхаэ о (1) 


Генетические операторы, 
заимствованные из микробиологии 


Популяция Фенотипы 
генотипов особей 


7, 


Рис. 5. Преобразование наследственной информации в ГА 
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Репродуктивный план Холланда 


® Шаг 1. Инициализация начальной популяции 
Ввести точку отсчета эпох 0 Инициализировать случайным об- 
разом М генотипов особей и сформировать из них начальную 
популяцию 2(0)=(Са, (0)....,с2Ам00)). Вычислить 
приспособленность особей популяции У(0)=(.(0),...,им(0)), а 
затем— среднюю приспособленность по популяции 


М 
00) = Уи, (0)/М. 


ћ=1 


Шаг 2. Выбор родителей для скрещивания 

Увеличить номер эпохи на единицу 1=+1. Определить случайную 
переменную Капа, на множестве бу/={1,..., М}, назначив вероят- 
ность выпадения любого ВЕ бы пропорциональной џи, (7) /@(7). 
Сделать одно испытание Вап4, и вычислить результат (1), кото- 
рый определит номер первого родителя «Ахи(#). Повторным испы- 


танием определить номер второго родителя (х). 


Шаг 3. Формирование генотипа потомка 

С вероятностью Р, произвести над генотипами выбранных роди- 
телей кроссовер. Выбрать с вероятностью 0,5 одного из результан- 
тов и сохранить его как '_А(®). Последовательно применить к 


'<А(0) оператор инверсии (с вероятностью Рі), а затем — мутации 


(с вероятностью Р,„). Полученный генотип потомка сохранить как 


=. 


Шаг 4. Отбор особи на элиминирование и замена ее потомком 

С равной вероятностью 1/М для всех Ве бу определить случай- 
ным образом номер /(7) особи в популяции, которую заместит по- 
томок. Обновить текущую популяцию {2(7) путем замены «Ако(#) 


на сА' (2). 

Шаг 5. Определение приспособленности потомка 

Вычислить приспособленность потомка Ив(«А (1). Обновить зна- 
чение средней приспособленности (7) и вектор приспособленно- 


стей У(2). 


® Шаг 6. Перейти к шагу 2. 


Приведенные на последних двух страницах соображения являются 
достаточно общими, чтобы не ограничивать нашу инициативу с опробова- 
нием различных стратегий отбора на скрещивание и элиминирование, вы- 
бором порядка и интенсивности воздействия генетических операторов. За 
последние 10 лет во всем мире был выполнен огромный объем исследова- 
ний в этом направлении, изучены различные комбинации эвристик, а так- 
же новые подходы, усовершенствующие поисковую способность ГА. 

Поскольку аналитические методы исследования условий и скорости 
сходимости наталкиваются в этой области на серьезные проблемы, была 
разработана целая система тестовых задач (БепсһтагКк), предназначенных 
выявить относительную эффективность различных версий алгоритма. На 
них же было осуществлено сравнение ГА с другими техниками и доказана 
уникальность его способностей для решения задач глобальной оптимиза- 
ции. Однако многие исследователи подчеркивают, что при всей внешней 
простоте замысла ГА требуют значительных усилий при настройке под 
конкретную задачу, даже по сравнению с близкими им по духу эволюци- 
онными методами (так называемыми эволюционными стратегиями). В на- 
стройке нуждаются, прежде всего, вероятности применения генетических 
операторов, оказывающие существенное влияние на сбалансированность 
процессов отбора и изменчивости. Некоторые руководства рекомендуют 
априорно выбирать величины этих стратегических параметров на уровне 
Р. = 0,9; Р; =0,01; Ри =0,1. 

По-видимому, следовало бы говорить не о сложности применения ГА 
вообще, а об адекватности уровней сложности алгоритма и решаемой за- 
дачи. Чем проще задача, тем бессмысленнее становятся различные ухищ- 
рения с кодировкой генотипов, настройкой вероятностей и т. п. В пределе, 
если целевая функция имеет единственный экстремум в исследуемой об- 
ласти, применение ГА теряет всякий смысл, так как любой локальный ме- 
тод найдет решение быстрее и проще для нас. С другой стороны, нельзя 
сказать, что нет такой задачи, которую нельзя было бы не решить с помо- 
щью ГА. К сожалению, таких задач достаточно, и вряд ли кто-нибудь 
возьмет на себя смелость предсказать, когда они исчерпаются. 

Где же проходит сегодня граница разумной сложности задачи? Навер- 
ное, все определяется тем, какими ресурсами мы располагаем — персо- 
нальной РС386 или транспьютером 764000. Часто называют более опреде- 
ленный критерий — задача должна быть решена за одну ночь работы 
компьютера уровня Репнит-100. 

Как бы ни было, на сегодняшний день ГА реально продвинули вперед 
границы наших вычислительных возможностей. Процедурно работу одной 
из его быстро сходящихся версий можно проиллюстрировать блок-схемой, 
представленной на рис. 6. 
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Инициализировать популяцию (0) размера М 


Оценить приспособленность каждой особи в. Д (0) 


Вычислить среднюю по (1) приспособленность 
Выбрать родительскую особь из 2(0), 
учитывая ее приспособленность 
Нет 
Использовать ли генетические операторы * 


{=1+1 Какой оператор применяется? 
Кроссовер 


Выбрать вторую особь из 8 (1 


Выбрать точку кроссовера 
Провести кроссовер 


Оценить приспособленность потомка 


Поместить потомка в (+1) 
7 Нет 
Новая популяция заполнена ^^“ 


Заканчивать? 


< Конец 


Рис. 6. Репродуктивный план Холланда 
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На первом этапе случайным образом генерируем исходную популяцию 
бинарных хромосом. Декодируем значения переменных из двоичного к 
вещественному виду. 

При помощи математической модели определяем индекс приспособ- 
ленности каждого решения и в зависимости от его величины упорядочива- 
ем популяцию. Вычисляем среднюю по популяции приспособленность. 
Опираясь на нее, назначаем вероятность, с какой каждая особь, обладаю- 
щая приспособленностью выше среднего уровня, может стать родителем. 
При этом для каждого родителя есть две возможности - либо просто быть 
скопированным в следующее поколение, либо подвергнуться воздействию 
генетических операторов в процессе генерирования хромосомы потомка. 

Далее оцениваем приспособленность потомка, и, действуя аналогич- 
ным образом, постепенно заполняем популяцию следующего поколения. 
Через М шагов новое поколение оказывается сформированным. Ясно, что 
поскольку оно получено от лучших родителей, то его приспособленность 
должна быть также высокой. Не вызывает сомнений, что, блокируя слабо 
приспособленным особям возможность стать родителем и дать потомство, 
мы увеличиваем или, по крайней мере, не уменьшаем среднюю по популя- 
ции приспособленность. 

Работу алгоритма прекращаем при достижении популяцией состояния 
адаптации, идентифицируемому по стягиванию ядра популяции сначала в 
плотное облачко, а затем - в точку. Кроссовер как механизм изменчивости 
теряет в таких условиях свою силу - при скрещивании идентичных роди- 
телей потомок ничем не будет отличаться ни от одного из них. Мутация и 
инверсия будут по-прежнему модифицировать потомство, тестируя все 
новые и новые точки поискового пространства, но безуспешно - лучше 
найденного решения нет, и потомки не смогут даже втиснуться в вырож- 
денное ядро. 

К сожалению, мы почти никогда (за исключением аналитически скон- 
струированных тестовых задач) не можем с уверенностью утверждать, что 
найденное решение представляет собой глобальный экстремум. Феноти- 
пическое и генотипическое вырождение популяции является необходи- 
мым, но не достаточным признаком успешности поиска. Оно только сви- 
детельствует, что какой—то экстремум найден, но ничего не говорит о 
том, каков его характер. Тем не менее, нам не остается ничего другого, как 
довольствоваться достигнутым результатом. В противном случае лучше 
повторно запустить задачу в надежде на более благоприятное развитие со- 
бытий, чем ждать чуда от истощенной популяции. Эволюция неповторима 
и при новом сочетании случайных факторов решение может оказаться бо- 
лее привлекательным. 
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2. ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 


Сеть нейронов, образующая человеческий мозг, представляет собой 
высокоэффективную комплексную, существенно параллельную систему 
обработки информации. Она способна организовать свои нейроны таким 
образом, чтобы реализовать восприятие образа, его распознание во много 
раз быстрее, чем эти задачи будут решены самыми современными компь- 
ютерами. Так распознание знакомого лица происходит в мозге человека за 
100—120 мс, в то время как компьютеру для этого необходимы минуты и 
даже часы. 

Сегодня, как и 40 лет назад, несомненно то, что мозг работает более 
эффективно и принципиально другим образом, чем любая вычислительная 
машина, созданная человеком. Именно этот факт в течении стольких лет 
побуждает и направляет работы ученых по созданию и исследованию ис- 
кусственных нейронных сетей. 


2.1. Эволюция взглядов на высшую нервную деятельность 


Вопрос, является ли живой организм чем-то вроде машины, впервые 
был поднят французским философом и математиком Рене Декартом 
(1596—1650). Декарт жил в период подъема механики, когда Кеплер и Га- 
лилей приступили к разработке идей о движении небесных тел. Радикаль- 
но новые взгляды на человека и Вселенную получали тогда только первый 
толчок. До этого царили представления, что законы Природы, начиная от 
падения камней и заканчивая движением планет, являются неизменными и 
незыблемыми. Вселенная представлялась как поражающий воображение 
своими масштабами часовой механизм, созданный и приведенный в дви- 
жение Великим Творцом. На бытовом уровне эти представления находили 
воплощение в механических безделушках, создаваемых для обитателей 
зажиточных домов Европы. Часы с кукушкой, фонтаны в аллеях, обли- 
вающие посетителей, случайно наступивших на скрытую пружину — раз- 
ве нельзя было объяснить мысли и действия человека в похожих механи- 
стических терминах? 

По Декарту, все действия, как у человека, так и у животных, являются 
ответом на события внешнего мира. Внешний раздражитель возбуждает 
один из органов чувств. Возбуждение передается в мозг, который направ- 
ляет его на соответствующие мускулы. Таким образом, возбуждение орга- 
нов чувств приводит к сокращению мускул, то есть к развитию реакции на 
внешний раздражитель. Энергия раздражителя как бы отражается обратно 
нервной системой через мускулы животного. Термин рефлекс (от англ. ге- 
Пех — отражение, отсвет, отблеск) берет начало именно в этих рассужде- 
ниях Декарта. 
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Прогресс в понимании механизмов таких реакций был достигнут не- 
сколько позднее на опытах с животными, у которых был удален мозг. 
Около 1750 года шотландский ученый Витт доказал, что такие движения 
контролируются спинным мозгом. Он обнаружил, что обезглавленная ля- 
гушка отдергивает ноги от булавки, но если удалить у нее одновременно 
головной и спинной мозг, она перестает реагировать на уколы. 

Дальнейший толчок в изучении безусловных рефлексов был получен 
во время Французской Революции. Пьер Кабани, друг и врач некоторых ее 
лидеров, исследовал, сохраняется ли сознание после гильотинирования. 
Он пришел к выводу, что нет, и что судороги обезглавленного тела явля- 
ются скорее рефлекторными действиями. Эти мрачные исследования были 
продолжены немецким исследователем Теодором Бишофом, который вы- 
полнил серию экспериментов над головами казненных преступников. Да- 
же достаточно сильные возбудители не производили никакого эффекта в 
течение первой минуты после обезглавливания. 

Классические условные рефлексы первым описал в начале ХХ века 
И. П. Павлов, сразу же усмотревший в них простейшую форму обучения, 
благодаря которой ассоциируются два события. При классическом услов- 
ном рефлексе исходно неэффективный раздражитель, называемый услов- 
ным, повторно сочетается с высокоэффективным раздражителем, назы- 
ваемым безусловным. Вначале условный раздражитель вызывает лишь 
слабый ответ или вообще никакого; безусловный раздражитель провоци- 
рует бурную реакцию без какого бы то ни было предварительного обуче- 
ния. В результате выработки условного рефлекса условный раздражитель 
приобретает способность вызывать либо сильный, либо новый ответ. Для 
того, чтобы образовалась условная связь, то есть произошло обучение, ус- 
ловный раздражитель должен коррелировать с безусловным, предшествуя 
ему на некоторый критический промежуток времени. 

До начала текущего столетия большинство нейрофизиологов верило, 
что маршрут рефлекса пролегает через существенно непрерывные нити 
нервной ткани. Понятие синапса, щели между нейронами, посредством 
которой они должны взаимодействовать, является сравнительно новым. 
Исследования, устанавливающие наличие синапса и его роль в нервной 
активности, были выполнены на рубеже веков английским физиологом 
сэром Чарльзом Шеррингтоном (1857—1952). Работа Шеррингтона затра- 
гивала поведенческий уровень, а не электрофизиологический. Тем не ме- 
нее, из анализа рефлекторных действий собак, кошек и обезьян он сумел 
разгадать основные принципы работы синапса. 

К первым попыткам раскрыть секреты анатомической организации 
мозга можно отнести исследования Сантьяго Рамон-и-Кахаля (1911). При- 
менив метод окраски нейронов солями серебра, разработанный ранее Ка- 
милло Гольджи (серебро избирательно проникает в нейроны, но не пропи- 
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тывает другие клетки мозга), Кахаль увидел, что мозг имеет клеточную 
архитектуру. Кроме нейронов в состав мозга входят разнообразные гли- 
альные клетки, выполняющие опорные функции и участвующие в репара- 
ционных процессах. Кахаль описал нейроны как поляризованные клетки, 
которые получают сигналы сильно разветвленными отростками, получив- 
шими название дендритов, а посылают информацию неразветвленными 
отростками, названными аксонами (см. рис. 7). 


Аисоннея 


терминапь 


Рис. 7. Ансамбль нервных клеток головного мозга человека 


Окрашивание по Гольджи позволило выявить огромное разнообразие 
нейронов по форме тела, разветвленности дендритной части и длине аксо- 
на. Кахаль выявил различия между клетками с короткими аксонами, взаи- 
модействующими с соседними нейронами, и клетками с длинными аксо- 
нами, проецирующимися в другие участки мозга. 

Несмотря на различия в строении, все нейроны проводят информацию 
одинаково. Информация передается по аксонам в виде коротких электри- 
ческих импульсов, так называемых потенциалов действия, амплитуда ко- 
торых составляет около 100 мВ, а длительность 1 мс. Возникновение им- 
пульсов связывают с движением положительно заряженных ионов натрия 
через поверхностную клеточную мембрану из внеклеточной жидкости 
внутрь клетки, в ее цитоплазму. 

Концентрация натрия в межклеточном пространстве примерно в 10 раз 
больше его внутриклеточной концентрации. В состоянии покоя поддержи- 
вается трансмембранная разность потенциалов около —70 мВ. При этом 
ионы натрия проникают в клетку медленно, так как доступ туда для них 
ограничен свойствами мембраны. Физическая или химическая стимуля- 
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ция, деполяризующая мембрану, увеличивает ее проницаемость для ионов 
натрия. Поток натрия внутрь клетки еще сильнее деполяризует мембрану, 
делая ее все более проницаемой. 

Когда достигается некоторое критическое значение потенциала, назы- 
ваемое пороговым, положительная обратная связь приводит к регенера- 
тивным сдвигам, в результате которых знак разности потенциалов изменя- 
ется на противоположный, то есть внутреннее содержимое клетки стано- 
вится заряженным положительно по отношению к внешней среде. При- 
близительно через 1 мс проницаемость мембраны для натрия падает и 
трансмембранный потенциал возвращается к своему значению в состоя- 
нии покоя —70 мВ. После каждого такого “взрыва” нейрон остается на не- 
сколько миллисекунд рефрактным, то есть натриевая проницаемость мем- 
браны в этот период не может изменяться. Это кладет предел частоте ге- 
нерации импульсов — не более 200 раз в секунду. 

Хотя аксоны и похожи на провода, импульсы они проводят иначе. Их 
кабельные характеристики неважные: сопротивление вдоль оси слишком 
велико, а мембранное сопротивление слишком мало. Положительный за- 
ряд рассеивается уже через 1—2 мм. Чтобы преодолевать расстояния, со- 
ставляющие иногда несколько сантиметров, импульсы должны регенери- 
роваться. Необходимость повторно усиливать ток ограничивает макси- 
мальную скорость распространения нервного импульса по аксону до 100 
м/с. 

Связи между нейронами опосредуются химическими передатчиками — 
нейромедиаторами — выделяющимися из окончаний отростков нейронов 
в синапсах. Когда потенциал действия достигает окончания аксона, моле- 
кулы медиатора выходят из внутриклеточных маленьких пузырьков, где 
они хранятся, в синаптическую щель — пространство шириной 20 нм ме- 
жду мембранами пресинаптической и постсинаптической клеток. Когда 
возбуждение достигает пика, начинается координированное выделение 
молекул нейромедиатора. 

Высвободившиеся молекулы нейромедиатора связываются с рецепто- 
рами в постсинаптической мембране, что изменяет ее проницаемость. Эф- 
фект будет возбуждающим, если изменение заряда приближает мембран- 
ный потенциал к порогу генерирования импульса. Если же мембрана ста- 
билизируется на уровне потенциала покоя, эффект будет тормозным. 

Каждый синапс дает лишь незначительный эффект на активность аксо- 
на нейрона. Чтобы установилась интенсивность выхода, каждый нейрон 
должен непрерывно интегрировать до 1000 синаптических входов. 

Еще в начале века нейрофизиологам стала ясна исключительно важная 
роль синапсов в обучении. Сигналы мозга, проходя через них, могут в раз- 
ной степени усиливаться или ослабляться. Обращает на себя внимание и 
такой факт. Мозг новорожденного и мозг взрослого человека содержат 
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примерно одинаковое количество нейронов. Но только мозг взрослого че- 
ловека отличается упорядоченностью межнейронных синаптических свя- 
зей. По-видимому, обучение мозга и есть процесс изменения архитектуры 
нейронной сети, сопровождаемый настройкой синапсов. 


2.2. Становление и развитие ИНС 


Наиболее емким представляется следующее определение ИНС как 
адаптивной машины, данное в [6]: 


Искусственная нейронная сеть — это существенно парал- 
лельно распределенный процессор, который обладает способно- 
стью к сохранению и репрезентации опытного знания. Она сходна 
с мозгом в двух аспектах: 

1. Знание приобретается сетью в процессе обучения; 
2. Для сохранения знания используются силы межнейронных со- 
единений, называемые также синаптическими весами. 


История ИНС начинается в 1943, когда Маккаллок и Питтс предложи- 
ли модель «порогового логического нейрона» и показали, что любая 
функция, которая может быть вычислена на электронно-вычислительной 
машине, может быть также вычислена сетью нейронов [7]. Сигналы х;, по- 
ступающие на вход нейрона, умножаются на весовые коэффициенты у’; 
(синаптические веса). Далее они суммируются, и результирующий сигнал, 
сдвинутый на величину смещения уо 


п 
9 = Ух, + 0, (2) 
і=1 
подается на вход блока, реализующего активационную функцию нейрона. 


Рис. 8. Модель нейрона 


Традиционно активационная функция имеет ступенчатый вид, то есть 
сигнал на выходе нейрона у появляется лишь тогда, когда суммарное 
входное воздействие превышает некоторое критическое значение. 
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ТА Л и) 
5 
5 5 


Й сигмоидальная асан 
пинРиная Д симметричная 
а, если 5>а я А 
К 
(5)=1 5, если -а<5<а 5) = рб 
Л) , ДЗ) 23 Дз)=е° 


—а, если 5 <-а 


Рис. 9. Типы активационных функций нейронов 


Хебб [8], изучая клеточные механизмы деятельности мозга, сформули- 
ровал правило обучения, которое увеличивает силу связи между пре- и 
постсинаптическим нейронами, если активность обоих совпадает во вре- 
мени. 

Другая концепция обучения в рамках более развитой архитектуры се- 
ти, названной перцептроном, была предложена и успешно применена для 
моделирования работы зрительного тракта Розенблаттом [9]. 

В своей самой простой версии многослойный перцептрон (см. рис. 10) 
представляет собой сеть с одним входным, одним выходным и одним или 
более внутренними или, как говорят, скрытыми слоями нейронов. Общей 
чертой для всех многослойных перцептронов является прямонаправлен- 
ность сети, характеризующаяся передачей информации от входного слоя 


через К скрытых слоев к выходному слою. В стандартной топологии, узел 
(к) 


7 
лами предыдущего слоя К-1. Здесь А=0 и к=К+1 обозначают, соответствен- 
НО, ВХОДНОЙ И ВЫХОДНОЙ СЛОИ. 


і в слое К, (К=1,....К-+Т) соединяется посредством весов и: со всеми Ј уз- 


ВХОДНОЙ шана ур ВЫХОДНОЙ 


слой скрытые слои слой 


Рис. 10. Схема прямонаправленной слойной ИНС 
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Модифицированные версии могут иметь прямые связи между несмеж- 
ными слоями, связи в пределах одного слоя, хаотичные связи между слоя- 
ми вместо регулярных. 

Входной слой перцептрона служит лишь для приема и ретрансляции 
входных сигналов на нейроны скрытого слоя. В скрытых слоях происхо- 
дит основное нелинейное преобразование информации, а выходной слой 
осуществляет суперпозицию взвешенных сигналов последнего из скрытых 
слоев. В качестве нелинейности узлы скрытого слоя используют диффе- 
ренцируемые сигмоидальные функции 


_ 1 
= (3) 


Под обучением перцептрона понимают целенаправленный процесс из- 
менения значений весов межслойных синаптических связей, итеративно 
повторяемый до тех пор, пока сеть не приобретет необходимые свойства. 
В основе обучения лежит использование тренировочных данных, объеди- 
ненных в шаблоны (см. рис. 11). 


Ошибка 
сети 


о 2 
АЕ > р, 
Е 


Метод 
обучения 


Рис. 11. Контролируемое обучение ИНС 
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Каждый шаблон (х,р) включает в себя вектор известных входных 


сигналов сети Х = (Х,,Х,,..., Ху) и соответствующий ему вектор желае- 


мых выходных сигналов О=(Р\,О,,...,0).). В процессе обучения на вход 
ИНС последовательно подаются данные из тренировочного набора шаб- 


ты 7 = 
лонов == {Х.р) ‚4 = 1,0}, после чего вычисляется ошибка между фактиче- 
4 
ским У = (У, У ,) и желаемым выходами сети 
2 
е=|Ү, "| : (4) 
Здесь под нормой || обычно понимают евклидово расстояние между век- 


торами У и В. 

Далее, с помощью определенного правила или алгоритма происходит 
такая модификация настроечных параметров сети, чтобы эта ошибка 
уменьшалась. Процесс повторяется до достижения сетью способности вы- 
полнять желаемый тип преобразования «вход-выход», заданного в неяв- 
ном виде тренировочным набором шаблонов х. 

Благодаря обучению сеть приобретает способность правильно реаги- 
ровать не только на шаблоны, предъявленные в процессе тренировки, но 
также хорошо справляться с другими наборами данных из допустимого 
пространства входов, которые она никогда не «видела» ранее. В этом 
смысле говорят, что ИНС обладает свойством обобщения (хепегатайоп). 

Ошибка в обобщении, всегда имеющая место на выходе сети, имеет 
две составляющие. Первая из них обусловлена недостаточным качеством 
аппроксимации, выполняемой сетью конечных размеров. Вторая — вы- 
звана неполнотой информации, предъявленной сети в процессе обучения, 
из-за ограниченного объема обучающей выборки. 

У Розенблатта сила межслойных синаптических связей изменялась в 
зависимости от того, насколько точно выход перцептрона совпадал с вы- 
ходным шаблоном, в соответствии со следующим правилом обучения. Ве- 
са связей увеличиваются, если выходной сигнал, сформированный прини- 
мающим нейроном, слишком слаб, и уменьшаются, если он слишком высо- 
кий. Однако, это простое правило минимизации ошибки применимо толь- 
ко к прямонаправленным сетям без скрытых слоев. 

Несколько позже Минский и Пейперт выполнили глубокий анализ вы- 
числительной мощности однослойного перцептрона. 


Эффект их совместной книги «Персептроны» [10], предназначенной 
внести конструктивный вклад в теорию нейронных сетей, был для многих 
обескураживающим и привел к утрате интереса к нейронным сетям. Каза- 
лось, что если сети не могут реализовать даже ХОК-функцию (логическая 
функция «исключающее ИЛИ», получившая с легкой руки авторов [10] 
статус теста при исследовании сравнительной эффективности тренировоч- 
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Алгоритм обратного распространения ошибки 


® Шаг 1. Инициализация весов и смещений. 


Веса иі 0) и смещения ©) во всех слоях задаются случайным обра- 


зом как маленькие величины, например, в интервале от —1 до +1. 


— 


Шаг 2. Представление нового входного вектора Х и 
соответствующего желаемого выходного вектора Р. 


Шаг 3. Прямой проход: расчет фактического выхода. 
Вычисление выхода уб ) для 1-го узла в К-м скрытом слое, к=1,...,К, 
и У; в выходном слое: 


Нез В 
„0+ у ну (е1, К), где У®=Х 


= 


(к) — 
7, = Ј? 


Нк 
Ү = Ле ую + Уи 


= 
Здесь Н; — количество узлов в К-м скрытом слое. 


Шаг 4. Обратный проход: адаптация весов и порогов. 
Использование рекурсивного алгоритма, начинающегося на выход- 
ных узлах и возвращающегося к первому скрытому слою: 


(+1) =) 80У (к =1,...К+1) 


Для К=К-+1 член 5 А описывающий ошибку, известен: 
(К) = (р, – Ү, у, (1- У. ) и его можно рекурсивно посчитать для всех 


других случаев: 
500 =У®(- үу бб (6 = 


7 


Отметим, что член У) (у) является производной сигмоидаль- 


ной функции относительно ее аргумента. Если используется другая 
пороговая функция, этот член необходимо изменить. Обучающий 
параметр обычно выбирается в интервале от 0 до +1. 


® Шаг 5. Повторение от шага 2. 


ных процедур), их вычислительные способности слишком ограничены. 
Выход из этого положения — добавление скрытых слоев с нелинейными 
нейронами — был известен и тогда, однако не было ясности, как настро- 
ить веса у такой сети. 

Настоящий прогресс был достигнут лишь после того, как Румельхарт, 
Хинтон и Вильямс в 1986 последовательно переоткрыли Алгоритм Обрат- 
ного Распространения ошибки (АОР) [11, 12], впервые описанный Вербо- 
сом в 1974 году [13]. 

Уместно также вспомнить работы новосибирских ученых [14,15], неза- 
висимо и одновременно с Румельхартом предложивших очень близкий к 
АОР Алгоритм Двойственного Функционирования для обучения нейрон- 
ной сети.Хотя АОР рассеял пессимизм о возможности обучения 
многослойных сетей, он, тем не менее, не стал инструментом, который 
позволил бы решить коренной вопрос синтеза нейронных сетей — 
глобальную оптимизацию структуры и параметров сети. Инициализация 
начальных параметров сети осуществляется здесь случайным образом, а 
сам АОР, известный в статистике как метод стохастической аппроксима- 
ции, является по своей сути не более чем локальным методом и в силу 
этого не гарантирует окончания процесса обучения в точке глобального 
экстремума. Вместе с тем, не вызывает сомнений, что ошибка (4), 
используемая для оценки качества ИНС, является многоэкстремальной 
функцией параметров сети, поэтому для поиска ее минимума требуется, 
соответственно, глобальный метод. 

Тем не менее, с появлением АОР интерес к нейронным сетям снова 
возродился. Нельзя игнорировать и тот факт, что к концу 80-х годов общая 
ситуация в мире науки существенно изменилась по сравнению с 
60-тыми — прогресс в разработке персональных компьютеров существен- 
но раздвинул границы численного экспериментирования, началась эра 
численных методов моделирования. Искусственные нейронные сети ста- 
новятся массовым увлечением и через своих поклонников проникают в 
самые разные научные дисциплины. 

Последние 10 лет ознаменовались двумя событиями, имеющими отно- 
шение к теме нашего исследования. Первое из них — появление 
КВЕ-сетей, поддающихся очень простой, не содержащей рекурсии, на- 
стройке [16]. Второе — применение ГА для тренировки сети произвольной 
архитектуры, содержащей любые комбинации активационных функций 
нейронов скрытого слоя [17]. 

Большое внимание уделялось также доказательству универсальности 
нейронных сетей для решения задач аппроксимации произвольной функ- 
ции с любой степенью точности. В [18—19] это сделано для сетей перцеп- 
тронного типа с сигмоидальными активационными функциями, в [20] — 
для КВЕ-сетей. 
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Рассмотрим процедуру тренировки КВЕ-сети (см. Рис.12), осуществ- 
ляющей аппроксимацию функции, заданной в неявном виде набором шаб- 
лонов, как она описана в [16]. 

Пусть У — количество входов сети, Н — количество нейронов скрыто- 
го слоя, 2 — количество выходов сети. 

Предположим, что размер О набора тренировочных шаблонов я не 
слишком велик и что шаблоны размещены достаточно разреженно в про- 
странстве входных сигналов сети Х=(Х}, Х., ..., Ху). 


1-а? 


Рис. 12. Классическая ВВЕ-сеть 


Сеть характеризуется тремя особенностями: 1) единственный 
скрытый слой; 2) только нейроны скрытого слоя имеют нелинейную 
активационную функцию; 3) синаптические веса всех нейронов скры- 
того слоя равны единице. 


Введем следующие обозначения: 
с = (беу) — вектор координат центра активационной функции ней- 


рона скрытого слоя; 


с; — ширина окна активационной функции /-го нейрона скрытого слоя; 


ү 

ее _ 9 

ГЕ (Х,с) =е =е — радиально-симметричная активаци- 
онная функция нейрона скрытого слоя; 


и’; — вес связи между 1-м нейроном выходного слоя и ]-м нейроном скры- 


того слоя. 
Синтез и обучение сети включает в себя три этапа, объединенные сле- 


дующим алгоритмом. 
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Алгоритм синтеза ВВЕ-сети 


1. Выберем размер скрытого слоя Н равным количеству тренировоч- 
ных шаблонов О. Синаптические веса нейронов скрытого слоя при- 
мем равными 1. 

2. Разместим центры активационных функций нейронов срытого слоя 
в точках пространства входных сигналов сети, которые входят в 


набор тренировочных шаблонов =: с, =Х,,]=ЪН. 


3. Выберем ширины окон активационных функций нейронов срытого 
слоя С, /=1, Н достаточно большими, но так, чтобы они не накла- 


дывались друг на друга в пространстве входных сигналов сети. 
і? і =1,7 ] == ,Н . 
Для этого предъявим сети весь набор тренировочных шаблонов. Вы- 
ход і-го нейрона выходного слоя для р-го шаблона будет равен: 


Ү; = и, (Х ,,с,)+ мое)... иь Лен )= 

= и, Л(Х ,,Х, + и. „,Х, }+..+*н 1 „Хи )= Р,. 
Расписав это уравнение для всех выходов сети и всех шаблонов, по- 
лучим следующее уравнение в матричной форме: 


Фут = р, (6) 
Ан 
Ън 


4. Определим веса нейронов выходного слоя сети у 


(5) 


интерполяционная матрица, 


— матрица выходных синаптических весов; 


— матрица выходных шаблонов. 
Ви! 
Решение 
т 1 
м =Ф р (7) 
даст нам искомые значения выходных синаптических весов, обеспе- 


чивающие прохождение интерполяционной поверхности через тре- 
нировочные шаблоны в пространстве выходных сигналов сети. 


Ошибка аппроксимации в точках входного пространства, не совпа- 
дающих с центрами активационных функций, зависит от того, насколько 
удачно выбраны ширины окон, и адекватно ли количество тренировочных 
шаблонов сложности функционального преобразования. 

К сожалению, процедура настройки синаптических весов является да- 
леко не единственной и не последней проблемой, встречающейся при обу- 
чении сети. Куда как более сложным вопросом остается формирование 
набора тренировочных шаблонов, адекватно описывающего рассматри- 
ваемое функциональное преобразование. К этой проблеме мы еще вернем- 
ся в следующих разделах. 
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3. ГА+ИНС = НОВАЯ ПАРАДИГМА В УПРАВЛЕНИИ 


Классические методы синтеза систем управления базируются на хоро- 
шо развитом аппарате интегро-дифференциального исчисления, создан- 
ном Ньютоном около трехсот лет назад. Нейронные сети представляют 
собой альтернативное, существующее всего несколько лет, направление в 
теории автоматического управления, предлагающее иной способ отраже- 
ния и преобразования действительности, в котором можно обнаружить и 
сходные, и различные черты с классической парадигмой. 

Проникновение дифференциальных уравнений в теорию автоматиче- 
ского регулирования связывают с именами Д. К. Максвелла (1831—1879) 
и И. А. Вышнеградского (1831—1895) [21]. Дело в том, что с момента по- 
строения Д. Уаттом паровой машины с центробежным регулятором скоро- 
сти вращения (1784) и до середины второй половины прошлого века ка- 
кая-либо теория регулирования просто отсутствовала. Однако, с ростом 
мощности паровых машин участились аварии, вызванные плохим качест- 
вом регулирования. И вот Максвелл и Вышнеградский почти одновремен- 
но и независимо друг от друга взялись за теоретический анализ этой сис- 
темы. Оба использовали теорию малых колебаний, берущую начало от 
Ж. Л. Лагранжа’. Записав уравнения Лагранжа для паровой машины и вы- 
разив в них фазовые переменные через возмущения относительно некото- 
рых равновесных значений, Максвелл и Вышнеградский линеаризовали 
уравнения относительно возмущений и исследовали условия устойчивости 
состояния равновесия. 

Так начался первый этап в развитии теории автоматического управле- 
ния, этап расцвета классических методов анализа. Продолжался он до- 
вольно долго — до 40-х годов нашего века, но в содержательном отноше- 
нии не отличался большим разнообразием подходов. Исследование устой- 
чивости, а также качества переходных процессов продолжали оставаться 
основными задачами всего этого периода. 

Термин «нейроуправление» впервые появился в работах Вербоса уже в 
1976 году, однако решающую роль во внедрении ИНС в сферу управлен- 


* Хотя колебания маятника изучал еще Галилей (1564—1642), именно Лагранж (1736— 
1813) дал общие способы составления дифференциальных уравнений малых колебаний вблизи 
равновесия и провел их исследование. Другим выдающимся научным достижением Лагранжа, 
имеющим отношение к нашей теме, стало формулирование понятия состояния системы и раз- 
работка для любой системы материальных точек методов построения операторов, связываю- 
щих состояния системы в моменты { и {+Д%. По существу, он ввел в научное мышление понятие 
динамической системы, то есть системы, для которой существует полное описание, называемое 
состоянием, изменение которого во времени им же определяется. 
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ческих задач сыграли работы Нарендры с соавторами (1989), в частности, 
[22]. 
Итак, в системах управления ИНС могут применяться в виде: 
® нейроконтроллеров; 
® нейроэмуляторов, имитирующих динамическое поведение объекта 
управления в целом или описывающих его отдельные характеристи- 
ки, трудно поддающиеся математическому моделированию (напри- 
мер, фрикционные эффекты и т. п.). 


Первое, что мы попытались сделать самостоятельно, был синтез ней- 
роконтроллера на базе трехслойной прямонаправленной сети [23]. 

В качестве объекта управления мы выбрали инерционное колебатель- 
ное звено второго порядка с передаточной функцией вида 


Т6 ЗАННИ (8) 
Т5 +2765 +1 


а в качестве цели управления — подавление колебательности объекта при 
ступенчатом входном воздействии (значения постоянных коэффициентов 
к=1; 7=0,5; с=0,1 в уравнении (8) были подобраны так, чтобы колебатель- 
ные свойства у объекта были выражены достаточно отчетливо - см. 
рис. 13). 


= мо ө Б о 


0,5 


Выход объекта 
е" 
о 
Амплтитуда выходного 
сигнала объекта 


о 


0,0 


0 2 4 6 8 10 


Частота, Гц 


Время, с 


а) 6) 


Рис. 13. Переходная характеристика (а) и АЧХ (6) 
тестового динамического объекта управления 


Опасаясь чрезмерного радикализма на начальном этапе исследований 
(в смысле отказа от традиционных схемотехнических решений 
ПИД-регуляторов), мы подали на вход нейроконтроллера сигнал ошибки, 
а также его производную и интеграл, надеясь, что сеть найдет некие нели- 
нейные коэффициенты для них как для слагаемых. 
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Нейроконтролле Д 
объек 


Рис. 14. Первый опыт с нейроконтроллером, 
аппроксимирующим коэффициенты ПИД-регулятора 


Структура нейроконтроллера: три ретранслирующих узла во вход- 
ном слое, четыре скрытых узла с сигмоидальными активационными 
функциями и один выходной. На входные нейроны подается разность 
между входным воздействием и, и выходом объекта хү, ее интеграл и 
производная, а на выходе сети формируется управляющее воздейст- 
вие и. 


В качестве процедуры для тренировки сети мы использовали ГА. Ал- 
горитм обратного распространения ошибки также подошел бы для этой 
цели, но он требует информации об ошибке на эффекторном слое ИНС. 
Для получения такой информации в схеме обучения необходимо преду- 
смотреть обращенный нейроэмулятор объекта, роль которого сводится к 
преобразованию ошибки на выходе объекта в выходной сигнал на выходе 
нейроконтроллера, что существенно усложняет процедуру тренировки. 


Динамический 
объект 


Рис. 15. Применение ГА для настройки параметров нейроконтроллера 


Генетический же алгоритм настраивает параметры нейроконтроллера 
не по ошибке в управлении и, а по ошибке в выходе объекта, сравнивая 
его с выходом эталонной модели. Последняя воплощает в себе наши пред- 
ставления о желаемом поведении объекта, то есть играет приблизительно 
ту же роль, что и библиотека тренировочных шаблонов в процедуре тре- 
нировки. 

Исходная популяция из 100 хромосом генерировалась случайным об- 
разом. Каждый из 21 настроечных параметров сети кодировался десятью 
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битами, таким образом, хромосома, кодирующая нейроконтроллер в це- 
лом, представляла собой 210-разрядную последовательность нолей и еди- 
ниц. При том, что диапазон изменения каждого из параметров в простран- 
стве %°' был принят от –1 до 1, десятиразрядное кодирование обеспечива- 
ло дискретность изменения параметра не хуже 0,002. 

После декодирования хромосом в вектора переменных оценивалась 
способность каждого варианта сети следовать эталонной модели. Провер- 
ка осуществлялась путем последовательной подачи на управляющий вход 
нейроконтроллера единичного положительного, нулевого и единичного 
отрицательного входного воздействия и вычисления среднеквадратичной 
ошибки выходной координаты объекта на временном интервале до 10 се- 
кунд. Предварительно передаточная функция объекта управления преоб- 
разовывалась в систему обыкновенных дифференциальных уравнений в 
форме Коши 

х= 0; 
3, =(-2Тс0 = м +) АТ. 

Интегрирование системы осуществлялось с постоянным шагом, рав- 
ным 0,01 сек. Суммарная ошибка по всем трем переходным процессам 
принималась в качестве меры неудачности конструкции и использовалась 
далее в качестве количественного индекса для ранжирования особей в по- 
пуляции. 

Кривые переходных процессов для лучшего варианта из популяции на 
различных этапах поиска представлены на рис. 16. 
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Рис. 16. Лучшие из демонстрируемых популяцией нейроконтроллеров 
переходные процессы на выходе объекта управления в различные мо- 
менты работы ГА (задание — единичная ступенька): кривая 1 — на- 
чальная популяция, 2 — после 2000 поколений, 3 — после 4000 поко- 
лений, 4 — после 5000 поколений. 

Как видно из этого рисунка, по мере работы алгоритма решения непре- 
рывно улучшаются. Вектор переменных, найденный к 5000 поколению, 
обеспечивает вполне удовлетворительное решение поставленной задачи. 

Рис. 17 иллюстрирует поведение объекта не только на тренировочных 
шаблонах, но и при промежуточных значениях амплитуды входного зада- 
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ния, которое подтверждает универсальность аппроксимирующих свойств 
нейронных сетей. 


2,0 
1,0 
0,0 


-1,0 


Выход объекта 


-2,0 
0 2 4 6 8 10 


Время, с 
Рис. 17. Переходные процессы в САУ с обученным нейроконтроллером при ам- 
плитудах входного задания –1, —0,5; 0; 0,5; 1 (снизу вверх) 


Воодушевившись достигнутым результатом, мы усложнили задачу. На 
вход контроллера стали подавать не сигнал ошибки, его производную и 
интеграл, а просто выходную координату объекта на текущем и предыду- 
щем шагах (единожды и дважды задержанный сигналы - см. рис. 18). 
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Рис. 18. Новая схема организации обратных связей по [22] 


Подверглась изменениям и эталонная модель, которую сформировали 
теперь как требование к АЧХ канала управления [24]. В то время как сам 
объект обладает АЧХ с отчетливо выраженным резонансным пиком при 
частоте 0,32 Гц, нейроконтроллер должен научиться, с одной стороны, ог- 
раничивать резонансные колебания объекта, а с другой стороны, усили- 
вать амплитуду вынужденных колебаний в пре- и пострезонансной облас- 
тях, не внося при этом сдвиг фаз между выходными и входными колеба- 
ниями, а также подавлять колебания объекта при частотах, превышающих 
частоту среза желаемой АЧХ (кривая 2 на рис. 19). 

На этот раз для контроллера опять была выбрана трехслойная сеть 
3-10-1, т. е. с количеством нейронов в скрытом слое равным 10. Для опре- 
деления пригодности сети на ее вход подавался фиксированный спектр 
гармонических колебаний различной амплитуды (в диапазоне 0,1-1) с 
частотами 0,16; 0,48; 0,80; 1,11 и 1,59 Гц. 
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Интегральная ошибка по всем тестовым переходным процессам, про- 
должительность которых, как и ранее, составляла 10 секунд, принималась 
в качестве меры успешности управления. 

Результаты синтеза оказались удачными. Контроллер, параметры кото- 
рого представлены в Приложении 1, справлялся с возложенными на него 
задачами. 

Фактическая АЧХ нейросетевой системы управления представлена на 
рис. 19. Она построена уже на непрерывном спектре частот, включающем 
частоты тренировочных сигналов. По-видимому, из-за недостаточного 
размера скрытого слоя сети, синтезированная АЧХ на участке 0,6—1 Гц 
значительно отличается от эталонной. Однако в общем, полученные ре- 
зультаты свидетельствует, что способность сети к обобщению может ис- 
пользоваться и при синтезе нейроконтроллера в частотной области. 


сигнала объекта 
аж 


Амплитуда выходного 


Частота, Гц 


Рис. 19. Синтезированная (кривая 1) и желаемая (кривая 2) 
АЧХ системы управления 


Представленные примеры убедительно доказывают способность ком- 
бинации двух новых вычислительных технологий — Генетических Алго- 
ритмов и Искусственных Нейронных Сетей — самостоятельно решать за- 
дачу управления динамическим объектом в рамках эволюционной пара- 
дигмы. Конечно, нам могут возразить, сославшись на трудности экспери- 
ментирования непосредственно с объектом при настройке синаптических 
весов нейроконтроллера, что вряд ли мы сможем обойтись без математи- 
ческой модели объекта, а значит, и без заимствования достижений ньюто- 
новской парадигмы. Тем более, что представленные примеры вроде бы 
свидетельствуют в пользу этого довода. Однако это не так, и в следующем 
разделе мы продемонстрируем, что эти же две технологии способны само- 
стоятельно синтезировать математическую модель динамического объекта 
только на основании знания его переходных характеристик. 
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4. ГА+ИНС = НОВАЯ ПАРАДИГМА В МОДЕЛИРОВАНИИ 


Физика представляет собой развивающуюся логиче- 
скую систему мышления, основы которой можно получить 
не выделением их какими-либо индуктивными методами из 
пережитых опытов, а лишь свободным вымыслом. Обосно- 
вание (истинность) системы основано на доказательстве 
применимости вытекающих из нее теорем в области чув- 
ственного опыта, причем соотношения между последними 
и первыми можно понять лишь интуитивно. Эволюция 
происходит в направлении все увеличивающейся простоты 
логических основ. Больше того, чтобы приблизиться к этой 
цели, мы должны решиться признать, что логическая ос- 
нова все больше и больше удаляется от данных опыта, и 
мысленный путь от основ к вытекающим из них теоремам, 
коррелирующим с чувственными опытами, становится все 
более трудным и длинным. 

А. Эйнштейн. Физика и реальность. 


Нейронные сети и дифференциальные уравнения относятся к различ- 
ным ветвям в моделировании, известным как эмпиризм и фундаментализм. 
Первая ветвь, эмпиризм, восходит к работам Аристотеля и Леонардо да 
Винчи, вторая, фундаментализм, обязана своим рождением Галилею, пы- 
тавшемуся реализовать в моделировании теологические представления 
Платона о мире идей и учение о душе. Дифференциальные уравнения опи- 
сывают «душу» объекта, в то время как нейронная сеть оказывается в со- 
стоянии запомнить, а потом воспроизвести динамическое поведение объ- 
екта в ситуациях, которые ей известны. Аналитическая форма представле- 
ния знаний ей недоступна, она способна запомнить и обобщить только 
конкретные эмпирические зависимости, хотя речь здесь идет, конечно, не 
о запоминании данных в табличном виде. 

Для классической парадигмы характерно то, что синтезу математиче- 
ской модели объекта или процесса обязательно предшествует фаза анали- 
за, в течение которой процесс умозрительно декомпозируется на элемен- 
тарные явления, каждое из которых подвергается затем тщательному ис- 
следованию. Сначала всегда планируется «очищенный» эксперимент, в 
котором исследуемая составляющая процесса обособляется от влияния 
остальных, а затем, по мере реальных возможностей, этот эксперимент 
выполняется. Как результат, выдвигается предельно простая, обыкновенно 
линейная, модель явления с единственным постоянным коэффициентом, 
для которого либо из условий проведения эксперимента, либо из каких-то 
третьих условий подбирается прозрачная физическая интерпретация. Если 
какую-то составляющую в чистом виде изучить не удается, на нее нередко 
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просто закрывают глаза. Наконец, осуществляют синтез полной модели, 
складывая из частных линейных моделей как из кирпичиков цельную кар- 
тину процесса, правда, с оговоркой, что коэффициенты, в действительно- 
сти, могут быть нелинейными. 

Примеров таких процедур можно привести множество, мы же предла- 
гаем ограничиться одним предельно простым — разрядом батареи кон- 
денсаторов на катушку с воздушным сердечником. 

Как известно, процесс разряда описывается дифференциальным урав- 
нением 


аі 


Ге 
аі 


ГА 
++ [м =0 (10) 
Со 

Хотя цепь собрана всего из двух узлов — батареи и катушки, членов в 
уравнении мы видим три. Все они содержат постоянные коэффициенты. 
Коэффициент при токе А, известный как активное сопротивление катуш- 
ки, представляет собой не что иное, как коэффициент пропорционально- 
сти между напряжением на катушке и током, при условии того, конечно, 
что катушка запитана от источника постоянного напряжения (очищенный 
эксперимент № 1). Коэффициент при производной тока Г, — собственная 
индуктивность катушки — имеет отношение к другому эксперименту: ес- 
ли запитать катушку от источника гармонически изменяющегося напряже- 
ния достаточно высокой частоты (очищенный эксперимент № 2), то про- 
изведение круговой частоты колебаний и собственной индуктивности ка- 
тушки опять даст нам коэффициент пропорциональности между амплиту- 
дами тока и напряжения на зажимах катушки. Наконец, емкость конденса- 
тора С тоже нуждается в определении и появляется она как понятие, 
опять-таки, из какого-то очищенного эксперимента № 3, вскрывающего 
связь тока и напряжения на обкладках конденсатора. 

Стоит задуматься, насколько натянуты предположения в отношении 
постоянства всех этих коэффициентов. Мы закрыли глаза на внутренние 
тепловыделения в проводнике, условия охлаждения катушки, потери в ди- 
электрике конденсатора. Перечень неучтенных факторов расширится, если 
мы возьмем катушку с железным сердечником, который не только сможет 
влиять на индуктивность, но и откроет дополнительные возможности для 
увеличения тепловых потерь в системе (от вихревых токов, на 
перемагничивание и т. д.). 

Ничего этого в модели (10) нет. Всякий раз, чтобы учесть тот или иной 
фактор, нам придется конструировать новый эксперимент, предлагать мо- 
дель явления, определять и интерпретировать ее параметры. При отсутст- 
вии модели мы не сможем описать эффект, следовательно, шаблон уравне- 
ния, описывающего процесс, будет заведомо неполным. 
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Тем не менее, никто не мешает нам выполнить идентификацию той 
модели, которая у нас есть. Правда, для этого нам все равно придется вы- 
полнить эксперименты со всей цепью, после чего подобрать значения ко- 
эффициентов так, чтобы погрешность предсказания поведения тока была 
минимальной. Не важно, насколько точно найденные значения коэффици- 
ентов совпадут с теми, что получились бы из частичных исследований. 
Мы и не можем ожидать, что они совпадут — члены, присутствующие в 
шаблоне, должны взять на себя вклад отсутствующих. Как следствие, зна- 
чения коэффициентов получат некоторые приращения, зависящие, по- 
видимому, еще и от того, например, в каком диапазоне токов проводились 
эксперименты со всей цепью. Ясно, что идентифицированная модель бу- 
дет достоверна только в этом диапазоне, но вряд ли мы можем надеяться, 
что при других токах параметры модели останутся прежними. 

В чем же состоят отличия нейросетевого подхода? Да, пожалуй, только 
в том, что он изначально не подразумевает фазы анализа при построении 
модели. Нейронные сети — это существенно синтетический, а не анали- 
тический подход. Конечно, и здесь остается понятие шаблона, и здесь син- 
тез модели сводится к параметрической оптимизации шаблона, сконст- 
руированного по базису активационных функций нейронов. Но здесь ни- 
кого не интересует, какому гипотетическому поведению объекта соответ- 
ствует активность одного из нейронов и какой физический смысл приоб- 
ретают в этом случае синаптические веса. Задача формулируется для всей 
сети в целом. Исходя из этого и объект исследуется сразу целиком, и не в 
очищенных ситуациях, а в тех режимах, которые нас интересуют в прак- 
тическом, утилитарном отношении. 

Хотя мы можем предположить, что нейронная сеть может выполнить 
сколь угодно сложное преобразование «вход-выход», заранее невозможно 
предсказать, какая архитектура сети (то есть вид шаблона) окажется наи- 
лучшей для решения интересующей нас задачи. Какой вид активационных 
функций нейронов должен быть выбран? Какая слойность сети и сколько 
нейронов в каждом скрытом слое обеспечат требуемую информационную 
емкость сети? Не очевиден и вопрос о количестве обратных связей, охва- 
тывающих сеть, а ведь без них поведение сети не сможет стать динамич- 
НЫМ. 

Как бы ни было, численное экспериментирование является на сего- 
дняшний день единственным надежным методом поиска ответов на по- 
ставленные вопросы. 

Следует отметить, что нейросетевые модели, все-таки, сильно отлича- 
ются от того, что обычно понимают под математической моделью. Не зря 
поэтому их называют эмуляторами, они имитируют динамические харак- 
теристики объекта и не более того. Существует для них и другое назва- 
ние — предикторы (от английского глагола (о ргейісі — предсказывать) и 
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оно тоже не беспочвенно, так как нейросетевые модели ориентированы на 
то, чтобы уметь по текущему и нескольким предыдущим векторам состоя- 
ния объекта предсказывать его следующие состояния. В зависимости от 
глубины предсказания различают одношаговые и краткосрочные предик- 
торы. 

Основное отличие между ними состоит в том, что одношаговый пре- 
диктор (см. рис. 20,а) получает информацию о текущем состоянии объекта 
от самого объекта, то есть он жестко привязан к объекту. Поскольку при 
таком подходе ошибка в предсказании возникает только в пределах теку- 
щего шага, а не накапливается даже на двух ближайших шагах, это суще- 
ственно понижает требование к точности предсказания, чем и упрощает 


задачу синтеза. 
Динамический 
объект 


Нейронная 


Нейронная 
| | сеть В | сеть Д 
А Нейроэмулятор | 


Рис. 20. Обучение одношагового (а) и краткосрочного (6) предикторов по 
входным и выходным данным объекта 


Значительно больших усилий требует синтез так называемого кратко- 
срочного предиктора (см. рис. 20,6), который может предсказывать пове- 
дение объекта на 100—1000 шагов и который отталкивается в прогнозе 
каждого последующего шага от собственного прогноза предыдущего шага. 
Ясно, что даже если ошибка предсказания на одном шаге выглядит скром- 
но, за 100 шагов она может возрасти до такого предела, за которым теря- 
ется какое-либо сходство в поведении эмулятора с поведением объекта в 
тех же условиях. 

Сохраняя верность выбранному принципу действовать в рамках эво- 
люционной парадигмы ее собственными средствами, мы подошли к про- 
блеме синтеза нейросетевых моделей динамических объектов, вооружив- 
шись хорошо зарекомендовавшим себя в наших глазах сочетанием 
ГА+ИНС. Чтобы сохранить некую преемственность с ранее полученными 
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результатами, мы сохранили в качестве динамического объекта инерцион- 
ное звено второго порядка с теми же значениями коэффициентов, что и в 
разделе с нейроконтроллером. 

Наш первый опыт [25], наверное, и нельзя назвать эмулятором. По су- 
ществу, мы пытались построить нейронную сеть, которая аппроксимиро- 
вала бы правые части системы уравнений (9). Для определенности мы 
приняли, что сеть будет трехслойной с конфигурацией 3-8-2 (т. е. с тремя 
нейронами во входном слое, восемью нейронами в скрытом слое и двумя 
суммирующими нейронами в выходном слое). На вход сети подавался 
входной сигнал и, выходной сигнал на предыдущем шаге ху и его произ- 


водная х. На выходе сети формировались первая и вторая производная 
выходного сигнала х; и х, (см. рис. 21). 


Динамический 
объект 


Нейронная 
сеть 1 


Рис. 21. Первый опыт синтеза эмулятора 


Существенным отличием от контроллера было то, что в качестве акти- 
вационных функций нейронов скрытого слоя мы ввели функцию следую- 
щего типа: 


(11) 
которая являлась неким гибридом сигмоидальной и радиально- 
симметричной функций. 

Основанная на «слепом» ГА тренировочная процедура включала в себя 
практически те же этапы, что и при синтезе нейроконтроллера. Популяция 
состояла из 100 бинарных хромосом. Каждая хромосома содержала 250 
генов и кодировала 50 параметров сети. Пригодность каждого из вариан- 
тов сети имитировать реакцию объекта на возбуждение оценивалась путем 
подачи на вход сети последовательно двух сигналов: единичной ступень- 
ки, а также нулевого сигнала. Проинтегрированные сигналы с эффектор- 
ного слоя ИНС сравнивались с результатами решения дифференциального 
уравнения (9) для тех же случаев. Погрешность работы ИНС оценивалась 
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путем интегрирования ошибок (4) для обоих случаев на интервале време- 
ни [0, 10 с] и последующего их суммирования. 

Рис. 22 иллюстрирует результаты эмуляции отклика сетью, достигну- 
тые к 5000-му поколению. 

Недостатком эмулятора было то, что он хорошо вел себя только при 
тех возбуждениях, при которых производилось обучение. При подаче на 
его вход сигнала с промежуточной амплитудой (между 0 и 1) его поведе- 
ние существенно отличалось от поведения объекта. Конечно, можно было 
бы, оставаясь в рамках прежней идеологии обучения, заставить его запом- 
нить поведение объекта при любых значениях амплитуды, но этот путь 
показался нам слишком экстенсивным. Поэтому мы обратились к методи- 
ке обучения КВЕ-сети, представленной на странице 38, и рассмотрели ее 
как потенциального претендента на роль локального ускорителя ГА. 


Выход объекта 
Выход объекта 


Время, с 


6) 


Рис. 22. Переходная функция объекта управления по координатам ху (а) и х, (6) 


Время, с 


а) 


(сплошная кривая) и ее эмуляция сетью (пунктир) 


Сама по себе, методика хороша тем, что позволяет очень быстро ре- 
шить задачу тренировки сети хотя бы в первом приближении. Вместе с 
тем, ее ограниченность также бросается в глаза. 

Во-первых, она требует большого количества что называется ручного 
труда, даже если пространство входных сигналов обладает низкой размер- 
ностью, а количество входных шаблонов мало. Все равно, мы должны 
проанализировать, насколько далеко шаблоны расположены друг от друга, 
чтобы не ошибиться с выбором ширины окон активационных функций. 

Во-вторых, ситуация становится обескураживающей, если шаблонов у 
нас слишком много (скажем, более 1000 или 10000). На практике очень 
трудно сказать аргіогі, какие именно эпизоды взаимодействия с объектом 
могут стать источником хороших шаблонов для построения нейросетевой 
модели объекта. Ясно только одно - ситуация, когда мы знаем об объекте 
мало, заведомо хуже, чем когда мы знаем много. 

Конечно, работать с сетью, содержащей 10000 нейронов в скрытом 
слое, можно, но вряд ли удобно. Да и трудно рассчитывать на быстрое ре- 
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шение уравнения (7). Возникает вопрос — а действительно ли нужны все 
эти шаблоны? Может быть, среди них есть такие, которые достаточно 
полно характеризуют объект и с которыми только и стоит работать? Но 
как тогда их отфильтровать? Можно просто отказаться от части шаблонов, 
чтобы размеры сети стали удобоваримыми, но тогда мы рискуем потерять 
важную информацию об объекте и получить некоторое весьма неточное 
решение поставленной задачи. 

Для того, чтобы выяснить, какие шаблоны являются действительно 
ключевыми в понимании динамики объекта, а также одновременно вы- 
полнить синтез нейроэмулятора с минимальной структурой скрытого слоя, 
мы скомбинировали методику настройки синаптических весов КВЕ-сети с 
ГА. 

В разработанной процедуре [26,27] на каждой итерации поиска ГА са- 
мостоятельно выбирает, в каких точках пространства входных сигналов 
сети разместить центры активационных функций нейронов скрытого слоя, 
и назначает для каждой из них ширину окна. Соответственно, в отличие от 
предыдущего случая «слепого» поиска, хромосомы содержат теперь толь- 
ко информацию о параметрах нейронов скрытого слоя сети, но не о синап- 
тических весах нейронов выходного слоя. 

Схема кодировки хромосом представлена на рис. 23. 


Бинарная строка 


ино ШИНО ОЮ ООО ош ии 


Ширина окна Центр слишком 
слишком мала далек от шаблонов 


К-й сегмент 
—— 


Ширина окна активационной функции 


ИЛ Координаты центра окна активационной функции 


Рис. 23. Кодировка параметров скрытого слоя КВЕ-сети в хромосоме 


При декодировании хромосомы в вектор переменных одновременно с 
величиной настроечных параметров конкретизируется сама структура 
скрытого слоя сети. 
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Из рис. 23 видно, что максимальный размер скрытого слоя ограничен 
количеством однотипных сегментов, образующих хромосому. В действи- 
тельности же, в силу того, что мы вынуждены контролировать величину 
настроечных параметров, он всегда получается несколько меньшим. 

На первом этапе проверяется ширина окна активационных функций 
нейронов. Если для какого-либо из них она оказывается меньше некоторо- 
го порогового значения (принятого в наших экспериментах равным 0,01), 
то такой нейрон опускается. 

Кроме того, чтобы можно было воспользоваться методикой настройки 
синаптических весов, представленной на странице 38, необходимо, чтобы 
центры активационных функций совпадали с тренировочными шаблонами 
в пространстве входных сигналов сети. Поэтому мы ввели понятие 
б-окрестности вокруг каждого тренировочного шаблона, равную 0,1. Если 
центр, закодированный в текущем сегменте хромосомы, входит в одну из 
таких окрестностей, то при дальнейшей настройке сети используется соот- 
ветствующий тренировочный шаблон. В противном случае вся информа- 
ция, хранящаяся в текущем сегменте, игнорируется, и вакансия в скрытом 
слое, зарезервированная для нейрона с тем же номером, остается откры- 
той. 

Для сети, сформированной в результате анализа вектора настроечных 
параметров скрытого слоя, вычисляются по (7) (а не подбираются, как при 
«слепом поиске») синаптические веса выходных нейронов. 

Репрезентативность задействованных в обучении сети шаблонов, то 
есть их способность замещать собой весь имеющийся опыт взаимодейст- 
вия с объектом, оценивается путем предъявления сети всех известных 
шаблонов и суммированием ошибки в эмуляции по всему предъявленному 
набору. Последняя, как и раньше, используется при ранжировании попу- 
ляции потенциальных решений, отборе особей на элиминирование и в ро- 
дительскую группу для последующего скрещивания. 

Алгоритм процедуры синтеза представлен на рис. 24. 

Для проверки методики мы воспользовались предыдущей тестовой за- 
дачей. Сначала заменили объект библиотекой тренировочных шаблонов, 
сгенерировав ее посредством решения системы уравнений (9) при различ- 
ных сочетаниях начальных условий по выходной координате объекта и ее 
производной, а также при различных значениях управляющего воздейст- 
вия и. Затем компрессировали библиотеку, исключив из нее близко рас- 
положенные и совпадающие шаблоны. Если не сделать этого, при реше- 
нии матричного уравнения (7) могут возникнуть проблемы из-за того, что 
интерполяционная матрица будет близка к особенной. Наконец, приступи- 
ли к синтезу, для чего сгенерировали популяцию из 100 бинарных хромо- 
сом длиной по 1200 бит каждая. 
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Инициализация популяции 


Анализ хромосомы и 
формирование скрытого 
слоя сети 


Выбор параметров 
слоя сети с помощью 
генетического алгоритма 


Оценка приспособленности 
по всему допустимому 
набору шаблонов 


Окончание 


Рис. 24. Комбинированная процедура тренировки КВЕ-сети 


В результате оптимизации структуры и параметров ИНС нам удалось 
построить краткосрочный предиктор объекта (его параметры и структура 
описаны в Приложении 3), который на интервале до 30 секунд (при длине 
тренировочного интервала 10 с) весьма точно предсказывал поведение 
объекта при гармонических управляющих воздействиях в диапазоне час- 
тот от 0 до 1,6 Гц и амплитуде и от -1 до 1. Удивительно, что скрытый 
слой сети содержал всего 8 (!) нейронов, из чего, продолжая наши преж- 
ние рассуждения, можно заключить, что из 12000 шаблонов, описываю- 
щих наши эксперименты по изучению реакций объекта, только 8 оказа- 
лись значимыми. 

Этот впечатляющий результат, возможно, приоткрывает завесу над 
тайнами мышления, ведь он, по существу, предлагает механизм, объяс- 
няющий эффект когнитивного сжатия, о котором говорят психологи. От- 
талкиваясь от огромного числа эпизодов взаимодействия с объектом, мы 
получили очень компактную структуру, которая концентрирует этот опыт 
и формирует образ объекта, который можно использовать для решения за- 
дач искусственного интеллекта — классификации объектов, диагностики 
их состояния, прогнозирования поведения при различных стратегиях 
управления и так далее. 

Конечно, следует отметить, что синтез столь совершенного предиктора 
занял довольно много времени — около 50000 итераций, но, скорее, это 
нормально, чем ненормально, так как функциональные особенности при- 
родного интеллекта, к каковым следует отнести и длительное время обу- 
чения, не могут не перейти к искусственному интеллекту. 
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Получив в руки столь мощную процедуру синтеза нейроэмуляторов, 
мы не смогли удержаться от соблазна проверить наши догадки относи- 
тельно природы мышления на концептуальной модели интеллектуальной 
системы управления. В своих экспериментах с ней мы пытались найти для 
себя ответы на следующие вопросы. 


1. Предположим, нейроэмулятор действительно является неким 
образом, существующим в рамках условного сознания, порож- 
денного искусственным интеллектом. Если это так, то нейрокон- 
троллер, “мысленно” натренированный путем экспериментиро- 
вания с этим отражением внешнего мира, должен уметь управ- 
лять и самим динамическим объектом. Осуществимо ли это? 


2. Можно ли на платформе развитых представлений построить 
адаптивную систему, которая самостоятельно могла бы улавли- 
вать изменения в объекте, перестраивать свои внутренние пред- 
ставления, а в конечном итоге, вырабатывать новую оптималь- 
ную стратегию воздействия на него? 


3. Является ли сочетание ГА+ИНС настолько мощным в вычис- 
лительном плане, чтобы обеспечить действительно адаптивные 
свойства системы управления в условиях, когда характеристики 
объекта изменяются с течением времени самым непредвиденным 
образом? 


Из трех вопросов наиболее сложным для нас являлся третий, потому 
что, не сумев ответить на него утвердительно, мы не смогли бы дать опре- 
деленный ответ и на второй вопрос. 

Потенциальные трудности в решении задачи адаптации видятся, преж- 
де всего, в том, что адаптация, хотя и не является синонимом оптимиза- 
ции, немыслима вне оптимизационных постановок, а процесс оптимиза- 
ции должен быть сходящимся со всеми вытекающими отсюда последст- 
виями. Любой численный метод в явном или неявном виде опирается в 
процессе поиска экстремума на популяцию потенциальных решений, на 
которой и осуществляется отбор. Но когда экстремум найден, популяция 
оказывается вырожденной. Решения становятся похожими друг на друга 
как две капли воды, естественное разнообразие истощается и популяция 
теряет потенциальную способность к отслеживанию изменений в среде. 

Обычный прием, который применяется для восстановления поисковой 
способности — это полная регенерация популяции (если выполнить час- 
тичную регенерацию, сохранив хотя бы несколько особей из старой попу- 
ляции, они, уже обладая неплохой приспособленностью, сыграют на фоне 
плохо приспособленных новых членов роль сверхиндивидов и, подобно 
аттракторам, притянут через своих потомков всю популяцию к себе), но 
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его искусственность очевидна, кроме того, не ясно, как система должна 
догадаться, когда именно следует его применять. 

Как кажется, нам удалось, если не навсегда преодолеть эту трудность, 
то, по крайней мере, существенно раздвинуть границы эффективной рабо- 
ты эволюционных методов. Выход был найден не в новых генетических 
операторах, а в непривычной для классической науки форме представле- 
ния генетической информации — а именно, в форме, заимствованной у 
диплоидных организмов. 
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5. СНОВА О ГЕНЕТИЧЕСКИХ АЛГОРИТМАХ 


Когда мы говорили выше об эквивалентности понятий «генотип» в 
биологии и «вектор переменных» в математике, следовало бы оговорить, 
что эта эквивалентность имеет смысл только тогда, когда речь идет о гап- 
лоидных организмах, то есть об организмах, обладающих одинарным на- 
бором хромосом. К таковым относятся бактерии, водоросли и многие дру- 
гие простейшие организмы, занимающие низшие ступени эволюционного 
развития. Млекопитающие, и в частности, человек, являются диплоидны- 
ми организмами. В ядре каждой клетки каждого из нас (за исключением 
половых клеток — сперматозоидов и яйцеклеток — которые являются га- 
плоидными) в норме содержится двойной набор из 23 хромосом. Один 
комплект достался нам, как известно, от отца, а другой — от матери. В 
обоих комплектах существуют так называемые гомологичные хромосомы, 
кодирующие одни и те же фенотипические признаки и обладающие, в 
принципе, одинаковой структурой. Так, и в отцовской, и в материнской 
хромосомах идентичные фрагменты кодируют цвет глаз. Тем не менее, 
цвет глаз ребенка зависит от того, каковы отношения доминирования ме- 
жду генами родителей. О том, как регулируются в природе отношения до- 
минантности — рецессивности между гомологичными генами родитель- 
ских хромосом, у биологов нет единого мнения и теперь. Разработаны раз- 
личные феноменологические модели, одни из которых предполагают ме- 
ханизмы полного доминирования, исключающие активность гена, нахо- 
дящегося в рецессивном состоянии. Другие модели допускают, что оба 
гена могут проявлять активность одновременно, но в разной степени (ко- 
доминирование). 

Для нас это не так важно. В конце концов, ведь мы не ставим перед со- 
бой задачу воссоздания закономерностей, действующих в Природе. Мы 
можем устанавливать свои собственные законы, потому что сама эволю- 
ция у нас искусственная и нет никаких особых ограничений на то, как в 
наших диплоидных популяциях будут эволюционировать отношения до- 
минантности — рецессивности в генах потомства. Существенно другое, а 
именно — сам принцип, как передается по наследству и как декодируется 
в фенотипические признаки генетическая информация особей. 

Мы привыкли к тому, что какой-нибудь проект описывается одной 
единственной точкой из пространства переменных, которой однозначно 
соответствует опять-таки одна точка из пространства критериев. Этот 
примитивный уровень сложности представлений соответствует способу 
хранения генетической информации у гаплоидных организмов. У дипло- 
идных организмов все значительнее интереснее — особь определена как 
бы на двух точках одновременно (отцовская и материнская хромосомы), 
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хотя этой паре соответствует по-прежнему одна точка из пространства фе- 
нотипов. В процессе выработки своей половой клетки такая двухточечная 
особь генерирует третью точку, которая содержит в себе частичную ин- 
формацию об обеих родительских хромосомах. Но эта дочерняя точка еще 
не приобретает статус особи. Особь возникает только тогда, когда мы свя- 
жем эту точку с другой такой же дочерней точкой и вычислим присущий 
этой паре фенотип, приняв во внимание состояние активности гомологич- 
ных генов в обеих хромосомах и разрешив конфликт между ними в случае 
необходимости. 

Какие же эволюционные преимущества дает диплоидность? Наверное, 
таких преимуществ несколько, но мы остановимся только на одном, осо- 
бенно важном для нас. Просто для гаплоидных популяций фенотипиче- 
ское вырождение особей почти неизбежно означает и генотипическое 
вырождение (хотя с малой вероятностью, крайне редко встречающейся в 
практике моделирования, можно предположить, что одному оптимально- 
му фенотипу могут соответствовать разные генотипы). В то же время, для 
диплоидных особей это правило не является обязательным, то есть фено- 
типическое вырождение популяции, естественно наблюдающееся в со- 
стоянии адаптации, отнюдь не свидетельствует об утрате ею генетическо- 
го разнообразия. 

Это явление было понято еще в 20-х годах и описано 
С. С. Четвериковым, предложившим концепцию генетического груза, отя- 
гощающего популяцию информацией, хранящейся в рецессивных генах 
[28]. Часто диплоидную популяцию сравнивают с айсбергом, только вер- 
хушка которого, ассоциируемая с генами, проявившимися в фенотипе, 
видна над водой. Большая же часть айсберга скрыта от нашего взора. Но 
достаточно ситуации измениться, как вид айсберга изменится: он повер- 
нется другим боком, но не утонет. 

Трудно утверждать, что представленная ниже версия эволюции дипло- 
идной популяции точно следует биологическим теориям, но с ее помощью 
мы добились в основных чертах того, чего хотели [29,30]. 

Для начала мы ввели четырехбуквенный алфавит {Кгра), в котором В 
и г обозначают рецессивную 1 и рецессивный 0, а Р и 4 — доминантную 1 
и доминантный 0. Одновременно мы сформулировали правила полного 
доминирования при определении экспрессии генов вновь образованной 
особи, представленные на рис. 25 в виде таблицы разрешения конфликтов. 

Как обычно, из пары гомологичных генов в фенотипе проявляется тот, 
что обладает более сильным признаком активности. Ген с признаком ак- 
тивности «доминантный» (р или д), какому бы родителю он ранее ни при- 
надлежал, подавляет любой ген с признаком «рецессивный» (В или г), то 
есть именно его содержательный признак (1 или 0) принимается во внима- 
ние в процессе декодирования диплоидного генотипа особи сначала в би- 
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Гены более приспо- 
собленной особи 


Гены менее приспо- 
собленной особи 


Рис. 25. Таблица разрешения конфликтов признаков 
в паре гомологичных генов 


Входами в таблицу являются одна из ячеек левого столбца и одна из 
ячеек верхней строки, а выходом - значение ячейки, стоящей на пере- 
сечении строки, к которой принадлежит первая из упоминавшихся 
ячеек, и столбца, к которому принадлежит вторая 


нарную строку, а затем через код Грея (см. таблицу 1) в вектор перемен- 
ных. Однако, возможна ситуация, когда оба гена имеют одинаковый при- 
знак активности, но несут разную информацию. Имеются в виду пары го- 
мологов р-а и К-т (закрашенные ячейки). В этом случае мы изменяем при- 
знак активности одного из них с тем, чтобы избежать неоднозначности 
при определении фенотипа особи (существует даже соответствующая тео- 
рия эпигенетических триггеров Жакоба и Мано, описывающая этот меха- 
низм доминирования). 

Использованное нами правило разрешения конфликта признаков не- 
сколько отличается от того, что предложил Хольштайн в 1971 [31] или 
Вонг в 1995 [32]. В отличие от них мы принимали во внимание степень 
относительной приспособленности родителей, чьи гаметы достались рас- 
сматриваемой особи, и в паре активных гомологов сохраняли активным 
ген более приспособленного родителя, а в паре пассивных оставляли пас- 
сивным ген менее успешного индивида. 


Гамета А [4:80:14 


Зигота потомка 


Гамета В Шара ты 


у 


ИИ 


Рис.26. Пример использования таблицы разрешения конфликтов 


Для определенности принято, что гамета А принадлежала роди- 
телю с более высоким индексом приспособленности 
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Конечно, данная оговорка является некоторой уступкой ламаркизму, 
отрицаемому современной популяционной генетикой. Гаметы в действи- 
тельности не содержат информации о степени приспособленности родите- 
ля. Последняя является лишь предпосылкой того, что гены данной особи 
продолжат свое существование в потомстве. Но, как мы уже говорили, в 
условиях искусственной эволюции позволено все, а как свидетельствуют 
наши эксперименты, предложенное правило разрешения конфликтов опи- 
саний ускоряет сходимость ГА. 


Родитель А Родитель В 
более приспособленный менее приспособленный 
ПВО 

КАЕ Кроссовер 

Гаметы А Гаметы В 

ОЧЕН ТЭБ г 

[ВТР ЧТВ: Ва 

З Гамета А Гамета В 


ЮКА 10КЕ Мутация АЕХА Е 


Гамета А Гамета В 

Поа а ЕЕ ВА&ШОО Е 
Гамета А Гамета В 
У > И 
АТО Инверсия [ататотарат в 

М М 

Гамета А Гамета В 
ОЕЕО 4 Пава 


Гамета А |4:0Е ВЮ г 
Гамета В ША ВАО 


Зигота потомка 


Рис. 27. Процесс образования зиготы потомка от зигот родителей 
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Что касается триады генетических операторов, то они, сохранив те же 
названия, приобрели новое содержание, более приближенное к исходным 
биологическим интерпретациям. Кроссовер в диплоидных популяциях 
воздействует на генотипы не двух особей (это изобретение Холланда), а на 
гомологичные хромосомы одной особи. Инверсия осталась в нашей поста- 
новке прежней, что же касается мутации, то она изменяет текущее аллель- 
ное состояние гена гаметы на любое другое, разрешенное алфавитом. Так, 
мутация может оказаться нейтральной, то есть не сказывающейся в фено- 
типе потомка, если она не изменяет состояние активности рецессивного 
гена (т-К или наоборот). Однако это не значит, что она никогда не про- 
явится в будущем потомстве. Достаточно мутированному таким образом 
гену встретиться с рецессивным гомологом, но принадлежавшим ранее 
менее приспособленной особи, как он экспрессируется в фенотипе. 

Еще одно усовершенствование, о котором пока что ничего не было 
сказано, касалось порядка формирования начальной популяции. Мы по- 
ступали так: сначала генерировали популяцию как гаплоидную, а затем 
дуплицировали хромосомы особей, организуя диплоидные генотипы (по 
существу, мы осуществляли геномную мутацию). В таком случае началь- 
ные отношения доминирования не играли никакой роли, так как гомоло- 
гичные гены в паре хромосом обладали одинаковой активностью и несли 
идентичную содержательную информацию. После первого же ранжирова- 
ния популяции по приспособленности мы уже пользовались представлен- 
ной выше таблицей разрешения конфликтов описаний. 

Для того, чтобы продемонстрировать явные преимущества диплоидной 
популяции над гаплоидной в способности восстанавливать генетическое 
разнообразие и осуществлять поиск в изменившихся условиях, мы поста- 
вили следующий численный эксперимент. 

Предположим, что начальный момент рассматриваемого нами периода 
эволюции совпал с внезапным изменением рельефа целевой функции. 
Предположим также, что предшествующий период был стабильным и на- 
столько длительным, что обе популяции (как гаплоидная, так и диплоид- 
ная) выродились как фенотипически, так и генотипически вокруг начала 
координат в пространстве поиска #'°. Для гаплоидной популяции это оз- 
начает, что во всех разрядах каждой хромосомы стоят ноли (см. рис 28). 


0000000000000000 
0000000000000000 


0000000000000000 


Рис. 28. Популяция гаплоидных генотипов, 
выродившаяся в начале координат 
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В то время как для диплоидной это же предположение может быть вы- 
полнено, если во всех гомологичных парах генов будут доминировать но- 
ли, независимо от того, какую информацию несут рецессивные гены (см. 
рис 29). 


аааааааааааааааа 
ВКгЕгВвавааагВгатг 


аааааааааааааааа 
тЕВвагввааавевват 


аааааааааааааааа 
аввавагВаатВЕ тВВ. 


Рис. 29. Выродившаяся диплоидная популяция 


Итак, внезапно целевая функция приобретает вид 


10 
2) =У’-х, т/х), — 500 < х, < 500. (12) 
11 


Это одна из широко известных тестовых функций, предложенных 
Швефелем. Она имеет более 10 миллионов локальных экстремумов, гло- 
бальный же минимум по каждой из координат лежит в точке 


х, = 420,9687, 1=1...10. (13) 


Рис. 30 иллюстрирует процесс поиска экстремума диплоидной и гап- 
лоидной популяциями по двум первым координатам вектора переменных. 

В начальный момент времени (=0 обе популяции лежат в начале коор- 
динат. Если исходным источником генетического разнообразия у вырож- 
денной гаплоидной популяции является мутация, а инверсия и кроссовер 
только усиливают последствия ее воздействия, то в диплоидной популя- 
ции первый же акт скрещивания приводит к появлению нескольких доми- 
нантных единиц в генотипе потомка. Единицы извлекаются на свет из ре- 
цессивных “подвалов” генофонда, благодаря чему популяция очень быст- 
ро разбрасывает потомков по всему поисковому пространству и исследует 
его. 

К 500 поколению обе популяции достигают приблизительно одинако- 
вого фенотипического разнообразия, но дальше процесс развивается у них 
по— разному. 
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Диплоидная Гаплоидная 
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Рис. 30. Поиск экстремума тестовой функции (12) предварительно вырожденны- 
ми диплоидной и гаплоидной популяциями: % — глобальный экстремум; $ — 
субоптимальный минимум; • — особь популяции. 
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Не будем забывать, что численность популяции поддерживается неиз- 
менной, то есть в популяции действует отбор на элиминирование. Посто- 
янный отток генетического материала, по идее, должен компенсироваться 
изменчивостью потомства, и так оно и есть, но только на ранних этапах 
поиска, пока приспособленность особей по всей популяции остается бо- 
лее менее однородной. Но как только в популяции появляются особи 
срезко отличающейся приспособленностью, они получают преимущество 
в праве стать родителем и дают потомство, похожее на них. Потомство 
получается, по крайней мере, неплохим и вклинивается в иерархию попу- 
ляции, вытесняя наименее приспособленных особей за границы численно- 
сти, образующей новое поколение. Популяция стягивается в найденный 
локальный экстремум, выбраться откуда ей значительно сложнее, чем из 
начала координат, где она лежала на склоне мелкого оврага. 

Сказанное особенно верно для гаплоидной популяции. Она быстро 
сходится, но если ей подворачивается хороший локальный экстремум, су- 
ществует риск, что она застрянет в нем. К 3000 поколению гаплоидная по- 
пуляция находит 4 лучших экстремума (глобальный, 2 субоптимальных и 
субсубоптимальный) и начинает концентрировать особей в их окрестно- 
стях. Но к 6000 поколению она полностью вырождается в субоптимальном 
минимуме по |—ой и еще трем координатам вектора переменных, хотя по 
2—ой и остальным пяти координатам находит глобальное решение. 

Старт из вырожденного состояния оказывается слишком тяжелым для 
гаплоидной популяции. Она не успевает достаточно исследовать поиско- 
вое пространство прежде, чем отбор на элиминирование начинает оказы- 
вать свое истощающее влияние на разнообразие. 

В наших экспериментах диплоидная популяция тоже не всегда могла 
справиться с задачей, но делала это в 8 случаях из 10, что существенно 
превосходит результаты, демонстрируемые гаплоидной. 

Диплоидная популяция работает медленнее. К 3000 поколению уже 
просматриваются отдельные группы особей, но не так отчетливо как у га- 
плоидной. Даже к 6000 поколению популяция оказывается невырожден- 
ной, хотя большая ее половина лежит в окрестности глобального экстре- 
мума по всем координатам. Маленькие группы сохраняются в субопти- 
мальных экстремумах. Если предположить, что в этот момент снова про- 
изойдет изменение рельефа целевой функции, она, по сравнению с гапло- 
идной, окажется лучше подготовленной к очередной адаптации. 

Следует признать, что тестовая функция (12) относится к разряду про- 
стых для ГА. То, что гаплоидная популяция не нашла решение за 6000 по- 
колений, объясняется только чрезвычайно сложными для нее начальными 
условиями поиска. В норме популяция из 100 особей, сгенерированная 
обычным образом, находит решение за 2000—2500 поколений по всем ко- 
ординатам и очень точно. Диплоидная популяция всегда проигрывает ей в 
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скорости, но в трудных условиях дольше сохраняет работоспособность и 
находит более выгодные решения. 

Мы неоднократно убеждались в эффективности диплоидного способа 
кодирования, используя его при синтезе нейросетевых компонент систем 
управления. Хотя время, требующееся для решения задач, возросло, каче- 
ство нейроэмуляторов и нейроконтроллеров улучшилось, и это дало нам 
основания подступиться к более сложной проблеме, а именно — синтезу 
интеллектуальной системы управления. 
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6. ВИРТУАЛЬНАЯ РЕАЛЬНОСТЬ И ИСКУССТВЕННЫЙ 
ИНТЕЛЛЕКТ 


Недостаточность априорной информации приводит к 
необходимости совмещать в определенном смысле изучение 
объекта и управление им. Мы не можем оптимально управ- 
лять объектом, не зная его характеристик, но мы можем 
изучать объект, управляя им, и тем самым иметь возмож- 
ность улучшать управление, стремясь к оптимальному. 


Двойственность знания и управления, как подчеркивал 
К. Шеннон, тесно связана с двойственностью прошлого и 
будущего. Можно обладать знаниями о прошлом, но нельзя 
управлять им, и можно управлять будущим, не зная его. 
Быть может, именно в этом и состоит вся прелесть и 
смысл управления. 
Я.3. Цыпкин, “Адаптация и обучение в автома- 
тических системах” 


На рис. 31 представлено концептуальное решение разрабатываемой 
нами системы управления на базе ИНС с блоком обучения, реализующим 
ГА для поиска оптимальных параметров сети [33, 34]. Мы назвали нашу 
систему интеллектуальной, потому что она обладает одним из важнейших 
атрибутов интеллекта, а именно — способностью к построению прогноза, 
осуществляемого виртуальным трактом управления. 

Любопытно происхождение слова виртуальный. Оно берет свои истоки 
от латинского уі” — мужчина. Римляне образовали от него другое слово — 
уіғгіиѕ, которое служило для обозначения совокупности всех превосходных 
качеств, присущих мужчинам (физическая сила, доблестное поведение, 
моральное достоинство). Из латинского слово проникает в старофранцуз- 
ский, ав ХШ веке — из французского в английский язык. 

В современном английском слово ума приобрело дополнительный 
оттенок “но не существующий в действительности”. В толковом словаре 
[35] читаем: 


Упша! — Беіпе т еѕѕепсе ог ерес! Биї поі т јасі ог пате (су- 
ществующий в понятии или производящий эффект, но не суще- 
ствующий в действительности и не имеющий названия) 


Между тем, такое значение сосуществует наравне с прямо противопо- 
ложным. Англо— русский словарь [36] дает перевод уй1иа[ как фактиче- 
ский. Большой физический словарь [37] просто приводит почти противо- 
положные значения — эффективный, действующий; эквивалентный; 
фактический, — полагаясь на нашу сообразительность и умение ориенти- 
роваться в контексте. 
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Эталонная модель 


Генетический 
алгоритм 


Нейроконтроллер Нейроэмулятор 8 


виртуальный тракт! 


Генетический| „ёг 
алгоритм 


Нейроэмулятор 


Динамический 
объект 


Нейроконтроллер 


Рис. 31. Концептуальный проект САУ с блоком обучения на основе ГА 


Последнее время все большую популярность в научной литературе 
приобретает устойчивое словосочетание виртуальная реальность. Впер- 
вые этот термин появился в лексиконе разработчиков компьютерных про- 
грамм, предназначенных для наземного обучения космонавтов навыкам 
автономной работы в открытом космосе. С изобретением шлема и перчат- 
ки, пришедшим на смену дисплею и джойстику, зрительная и моторная 
компоненты интерактивной компьютерной имитации значительно усо- 
вершенствовались, существенно расширив границы применимости разра- 
ботанных систем в качестве тренажеров для летчиков—истребителей и 
представителей других экзотических профессий. Воздействуя одновре- 
менно на несколько каналов поступления информации в мозг (зрение, 
слух, вестибулярный аппарат, тактильные ощущения), современные ком- 
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пьютерные системы виртуальной реальности способны активно влиять на 
сознание и подсознание и порождать у испытуемого ощущение своей при- 
частности к разворачивающемуся перед его глазами сценарию. Через ком- 
пьютерные игры новая технология выплеснулась в мир, породив целое но- 
вое направление в видео. 

Мы немного по— другому трактуем это понятие. Если задуматься, вир- 
туальная реальность существует в каждом из нас. Одной из задач, подсоз- 
нательно решаемых индивидуумом на протяжении всей жизни, является 
построение и уточнение картины мира, определение своего положения в 
нем и выработка стратегии собственного поведения. Мы не только моде- 
лируем для себя окружающий мир, но и как бы со стороны наблюдаем се- 
бя в этом мире, моделируя самих себя. 

Исходя из таких представлений об интеллекте человека, мы подошли к 
проектированию системы управления. Внешним миром для нее служит 
объект, нейроконтроллер является ее телом, а виртуальный канал управле- 
ния, содержащий модель объекта и модель нейроконтроллера — ее “моз- 
гом”, местом, где система моделирует себя в окружающем мире. 

Подготовка системы к работе происходит следующим образом. Мы 
предполагаем, что с самого начала нам доступна априорная информация о 
поведении объекта в различных режимах. Тогда задачей первого этапа яв- 
ляется переработка этой информации в библиотеку тренировочных шаб- 
лонов, на основании которой затем синтезируется нейроэмулятор объекта. 
Когда интегральная ошибка, генерируемая эмулятором, снижается до за- 
данного предела, параметры нейроэмулятора копируются в блок трени- 
ровки нейроконтроллера. Здесь с участием эталонной модели происходит 
оценка различных стратегий управления объектом, рассматриваются и 
сравниваются между собой различные сценарии будущего. Как только 
удается достичь выполнения виртуальным трактом требований эталонной 
модели, параметры виртуального контроллера сбрасываются на исполни- 
тельный контроллер, после чего система может приступать к работе. 

При изменении характеристик объекта происходит естественное сни- 
жение качества управления. По мере увеличения расхождения в текущем 
поведении объекта с ожидаемым система получает возможность понять, 
что объект изменился. Новые переходные характеристики пополняют биб- 
лиотеку тренировочных шаблонов, после чего параметры нейроэмулятора 
корректируются. Далее все происходит как и ранее. Когда подгонка эму- 
лятора осуществлена, начинается корректировка параметров нейрокон- 
троллера, завершающаяся изменением параметров исполнительного кон- 
троллера. 

Трудно рассчитывать, что за один такой цикл обучение закончится, так 
как новая информация об изменившемся объекте вряд ли может претендо- 
вать на достаточную полноту. Логично предположить, что после первой 
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тренировки эмулятор не будет точно описывать объект, а поэтому и синте- 
зированный с его помощью контроллер не сможет справиться с задачами 
управления. Тем не менее, очевидно, что новый контроллер будет генери- 
ровать хоть и не оптимальное, но все таки новое управление, которое 
вскроет новые особенности поведения объекта. Новая информация даст 
возможность снова расширить библиотеку шаблонов, дотренировать ней- 
роэмулятор и нейроконтроллер и обновить параметры исполнительного 
контроллера. 

Так система сама изучает объект и постепенно совершенствует свои 
способности к управлению. Наверное, спектр количественных изменений 
характеристик объекта всегда ограничен определенными рамками, вне ко- 
торых исчезает качественная определенность объекта как такового. По- 
этому, когда эти возможности в процессе эксплуатации объекта исчерпа- 
ются, система станет робастной, то есть приобретет способность управ- 
лять объектом при любых обстоятельствах. 

Пугающие трудности синтеза нейроэмулятора даже в оН— пе режиме, 
встретившиеся нам, главным образом, при определении объемов инфор- 
мации об объекте, достаточном для синтеза его нейросетевой модели, не 
смогли охладить наш энтузиазм в отношении столь фантастической кон- 
цепции интеллектуализации. Конечно, она порождает много дополнитель- 
ных вопросов о соотношении темпов эволюции и адаптации в оп—Ппе ре- 
жиме, о принципиальной сходимости алгоритма адаптации, содержащего 
две, вложенные одна в другую, процедуры оптимизации. Тем не менее мы 
верим, что ГА обладают достаточной поисковой мощью, чтобы справиться 
с такими проблемами при существующем уровне развития персональных 
компьютеров. 

Возвращаясь к трем вопросам, поставленным в разделе по моделиро- 
ванию, мы можем дать четкий ответ пока только на первый из них. 


Да, нейросетевые модели динамических объектов могут 
быть настолько точными, что нейроконтроллер, синтезиро- 
ванный с использованием нейроэмулятора, оказывается спо- 
собным управлять самим объектом без каких— либо допол- 
нительных настроек. 


Мы провели последовательно три однотипных эксперимента с тесто- 
вым объектом при разных значениях б в уравнении (8), в процессе кото- 
рых сначала синтезировали нейроэмулятор объекта (см. Приложения 2— 
4), а потом с помощью нейроэмулятора — нейроконтроллер. На заключи- 
тельном этапе эксперимента нейроконтроллер опробовался на самом объ- 
екте. К нашему удовлетворению, во всех трех случаях нейроконтроллер 
смог управлять объектом без снижения качества по сравнению с работой в 
составе виртуального канала. 
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Эти эксперименты оказались полезными совершенно в неожиданном 
плане. Они продвинули вперед наше понимание того, что следует считать 
объективным критерием адекватности модели объекта. Действительно, 
точность модели можно считать удовлетворительной только в том случае, 
если построенный с ее помощью контроллер оказывается способен управ- 
лять объектом. 

Следует признать, что синтез виртуального тракта системы управления 
оказался не таким простым делом, как могло показаться вначале. Доста- 
точно сказать, что наша первая попытка организовать его путем тривиаль- 
ной стыковки нейроконтроллера и нейроэмулятора, предварительно син- 
тезированных на классической модели объекта (см. Приложение 1 и При- 
ложение 3), натолкнулась на неожиданные препятствия. Они не стали ра- 
ботать вместе, и мы не сразу догадались почему. 

Дело оказалось в том, что когда мы синтезировали контроллер на объ- 
екте, нас интересовал только выход объекта, но не контроллера. Это было 
особенностью применяемой методики, так как ошибка в выходе объекта 
использовалась для обучения, что же касается контроллера, то мы и не пы- 
тались понять, какое управление он должен генерировать, чтобы заставить 
объект вести себя требуемым образом. 

Как следствие, мы не контролировали и никак не ограничивали ампли- 
туду выхода контроллера, которая, как видно из рисунка 32, достигала 
значения 5 при единичном задании и,. Вот такое управление и не смог от- 
рабатывать нейроэмулятор, поскольку он обучался на входных воздейст- 
виях до 1. Точно повторяя поведение объекта управления при амплитудах 
входного воздействия меньше 1, эмулятор практически не работал при 
больших амплитудах. Рис. 33 показывает, как катастрофически ухудшает- 
ся качество его работы уже при входном сигнале равном 4. 


ь к” 
6 
4 
2 1 
0 
0 2 4 6 8 10 
Время, с Время, с 
Рис. 32. Выходной сигнал нейрокон- Рис. 33. Работа нейроэмулятора при 
троллера (кривая 1), обученного по больших значениях амплитуды входно- 
дифференциальным уравнениям объек го воздействия (кривая 1 — входной 
та, при единичной амплитуде сигнала сигнал; 2 — реакция объекта; 3 — ре- 
задания, (кривая 2 — выход объекта) акция нейроэмулятора) 
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Впрочем, на самом деле ничего удивительного в этом нет, мы просто 
«избалованы» линейными классическими моделями. То, что они досто- 
верно описывают реальный объект только в узком диапазоне рабочих ус- 
ловий, часто ставится им в вину при решении практических задач. Но в 
самом моделировании, как в нашем случае, их поведение безупречно, и 
нейросетевым моделям трудно соревноваться с ними. 

Возвращаясь к проблеме синтеза виртуального тракта, отметим сле- 
дующее. 

Во— первых, хотя обучение нейроконтроллера ведется по выходной 
координате эмулятора, необходимо ограничивать амплитуду управляюще- 
го сигнала, генерируемого контроллером, верхней границей допустимого 
диапазона входных воздействий эмулятора. В описываемых эксперимен- 
тах эта граница составляла 1. 

Во-— вторых, из двух возможных способов ограничения — жесткого 
среза амплитуды выходного сигнала либо более мягкого штрафования за 
превышение разрешенного уровня — более предпочтителен второй. Он 
дает возможность генетическому алгоритму ранжировать популяцию с 
учетом этого признака и постепенно избавляться от тех решений, которые 
генерируют слишком сильное управление. 

Используя эти дополнения к методике, а также ограничив величину за- 
дания и,=0,5, мы и синтезировали три нейроконтроллера, о которых гово- 
рилось выше. Параметры одного из них представлены в Приложении 5, а 
его выход при входном задании и, =0,5 — на рисунке 34. 


Время, ‹ 


Рис. 34. Выход виртуального нейроконтроллера при задании 0,5 


Конечно, выполненные эксперименты не доказывают исключительных 
адаптивных свойств интеллектуальной системы. Каждый раз мы сами ор- 
ганизовывали сбор информации об объекте, требующейся для синтеза 
эмулятора, действуя по предварительно выверенному плану. Для того, 
чтобы убедиться в способности системы сделать это самостоятельно, нуж- 
но распараллелить три задачи — формирование библиотеки тренировоч- 
ных шаблонов, тренировка эмулятора, тренировка контроллера, после чего 
суметь правильно распределить ресурсы вычислительной системы и орга- 
низовать обмен данными между ними. Современные операционные систе- 
мы (У тдо\$ МТ, У тдо\$ 95) обладают возможностями для решения та- 
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ких проблем даже на однопроцессорных машинах, и мы намерены реали- 
зовать их в ближайшем будущем. 

В завершение хотелось бы процитировать Р. Докинза, прочтение книги 
[38] которого оказало огромное влияние на ход наших мыслей на протя- 
жении последних 2—х лет. Он пишет: «Эволюция способности к модели- 
рованию, очевидно, привела в конечном итоге к субъективному осозна- 
нию. Почему это должно было произойти, представляется мне глубочай- 
шей тайной, стоящей перед современной биологией. Нет оснований пола- 
гать, что электронные компьютеры действуют осознанно, когда они что— 
нибудь моделируют, хотя нам приходится допускать, что в будущем они, 
возможно, будут осознавать свои действия. Быть может, осознание возни- 
кает тогда, когда модель мира, создаваемая мозгом, достигает такой пол- 
ноты, что ему приходится включать в нее модель самого себя». 

Представляется, что человечество вплотную подошло к разрешению 
этой задачи. 
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ЗАКЛЮЧЕНИЕ 


Прозрачность и доступность идей, составляющих методологический 
базис современных методов эволюционного моделирования, производят 
на нас поистине завораживающее впечатление. Нельзя сказать, что эти 
идеи заимствованы из обыденной жизни, ведь на самом деле они пред- 
ставляют собой революционные открытия в биологии не более чем полу- 
вековой давности, но сегодня о них знает каждый школьник и они уже лет 
20 входят в перечень того, что должен знать среднестатистический обыва- 
тель, на каком бы континенте он ни жил. Тем более удивительным пред- 
ставляется тот факт, что объединенные в одно целое, эти идеи приобрета- 
ют реальную силу и дают нам в руки эффективный инструмент для реше- 
ния сложных задач моделирования и синтеза. 

ГА + ИНС охватывают только кусочек того, что называют эволюцион- 
ным моделированием. Но как нам представляется и как мы пытались про- 
демонстрировать, эти две вычислительные технологии обладают огром- 
ным созидательным потенциалом. Подобно тому, как понятия передаточ- 
ной функции и динамического звена составили инструментальный базис 
классических методов моделирования динамических объектов и проекти- 
рования систем их управления, нейронные сети являются эффективным 
инструментом эволюционного моделирования и синтеза. Они в такой же 
мере способны охватывать весь спектр проблем, связанных с построением 
систем управления — начиная от синтеза модели объекта и заканчивая 
синтезом законов управления, и все это при помощи одних и тех же прие- 
мов, в рамках единого подхода. Это выгодно отличает их от многих дру- 
гих современных техник, которые проявляют эффективность при решении 
только частичных задач (скажем, Ёа72ту Іоріс находит применение только 
при синтезе контроллеров, но оказывается бессильной в моделировании 
самих объектов), и дает основания причислить их к классу доктрин, 
имеющих парадигмальное значение для современных технических наук. 

Мы понимаем, что представленные нами иллюстративные примеры 
можно упрекнуть в некоторой простоте тестового динамического объекта. 
Но не будем забывать, сколько лет и какой численностью отрядов ученых 
шла классическая наука к простому описанию подобных объектов, к уме- 
нию обращаться с ними. Нейронные же сети начали добиваться признания 
совсем недавно, не более 10 лет назад (то же самое можно сказать и о ге- 
нетических алгоритмах). 

Можно также предположить, что вряд ли их продвижение в сторону 
геа! мой аррйсапоп5 будет быстрым или триумфальным. Та легкость, с 
которой ИНС утвердились в когнитивных науках, является скорее обман- 
чивой и может быть объяснена простым отсутствием серьезных конкурен- 
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тов. Существующие же техноценозы, взращенные в рамках классической 
научной парадигмы, и так неплохо удовлетворяют основные потребности 
общества. И найти в этих джунглях свободную нишу очень трудно — все 
ярусы давно заняты и борьба за место под солнцем не прекращается ни на 
минуту. 

Впрочем, ситуация изменяется очень быстро, наши требования к тех- 
нике непрерывно совершенствуются, и никто не возьмется предугадать, 
сколь долго классическая парадигма сможет сохранять свою монополию. 
Да это и не так важно. Главный прогресс последних лет состоит в том, что 
то ощущение близости, общности решаемых инженерами и Природой за- 
дач, которое не так давно только витало в воздухе, сегодня переросло в 
уверенность, что мир органических репликантов и мир культурных репли- 
кантов, к каковым относятся и научные идеи, развиваются по одинаковым 
законам, а значит, нам есть чему учиться у Природы. Представленный ма- 
териал доказывает, что первые результативные шаги в этом направлении 
уже сделаны. 


А 


ТЕРМИНОЛОГИЧЕСКИЙ СЛОВАРЬ 


Аксон— отросток нейрона, который передает импульсы другим ней- 
ронам. 


Аллель — каждый ген способен занимать только определенную об- 
ласть в хромосоме, так называемый локус. В популяции всегда найдутся 
особи, у которых в идентичных локусах представлены различные формы 
генов. Эти альтернативные формы и называются аллельными состояниями 
гена или просто аллелями. 


Гаметы — (биол.) клетки, которые несут генетическую информацию о 
родительской особи. У животных и человека мужские гаметы называются 
сперматозоидами, а женские — яйцеклетками. Гаметы содержат гаплоид- 
ный (одиночный) набор хромосом. В эволюционном моделировании кате- 
гория «пол особи» не применяется. Объектом моделирования являются 
панмиктические популяции бесполых организмов, то есть популяции, в 
которых отсутствует запрет на скрещивание любых двух особей. Разнопо- 
ловость в природных популяциях как раз и играет роль естественного ог- 
раничения на скрещивание — ни пара из двух самцов, ни пара из двух са- 
мок не могут дать потомства. 


Ген — основная единица наследственности, представляющая собой 
фрагмент ДНК, кодирующий один или несколько фенотипических при- 
знаков и занимающий фиксированный локус хромосомы. Ген представля- 
ет собой скорее феноменологическую категорию и понятийно противо- 
стоит фену — единичному, доступному наблюдению признаку организма, 
позволяющему дифференцировать его от других особей того же биологи- 
ческого вида. В эволюционном моделировании — фрагмент хромосомы, 
кодирующий значение одного из искомых параметров. 


Генетический алгоритм (репродуктивный план Холланда)— раз- 
дел эволюционного моделирования, заимствующий методические приемы 
из теоретических положений популяционной генетики. Представляет со- 
бой своего рода модель машинного исследования поискового пространст- 
ва, построенную на эволюционной метафоре. Характерные особенности: 
использование строк фиксированной длины для представления генетиче- 
ской информации, работа с популяцией строк, использование генетиче- 
ских операторов для формирования будущих поколений. 


Глобальная оптимизация — процесс поиска экстремума или экстре- 
мумов функционала, который в эволюционном моделировании соответст- 
вует приспособленности особи, интерпретируемой как ее способность ре- 
шать поставленную задачу. 
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Дарвинизм — разработанная Ч. Дарвиным теория, объясняющая эво- 
люцию как результат взаимодействия двух факторов — случайных изме- 
нений характеристик особей в череде поколений и естественного отбора 
(выживание наиболее приспособленных). 


Дендрит— (биол.) сильно разветвленная часть нейрона, которая полу- 
чает импульсы от рецепторов или других нейронов и передает их телу 
клетки. 


Диплоидия — способ хранения наследственной информации у высших 
организмов, когда в ядрах соматических клеток содержится двойной набор 
хромосом, одна половина которого досталась особи от отца, а другая — от 
матери. 


Изменчивость — (биол.) разнообразие признаков и свойств у особей 
любой степени родства. Термин «изменчивость» применяется также для 
характеристики преобразования форм живых организмов в процессе их 
эволюции. Различают изменчивость наследственную (генотипическую) и 
ненаследственную (паратипическую). Изменчивость, обусловленную воз- 
никновением мутаций, называют мутационной, а обусловленную переста- 
новками генов в результате скрещивания — рекомбинационной. 


Инверсия— рекомбинационный оператор, который воздействует на 
фрагмент хромосомы, изменяя в нем порядок следования генов на обрат- 
НЫЙ. 


Искусственные нейронные сети — класс гибких нелинейных рег- 
рессионных или дискриминантных моделей, включающих большое число 
нейронов, соединенных произвольным образом, нередко организованных 
в слойные архитектуры. 


Когнитивная теория — теория обучения, в соответствии с которой 
человек и животные усваивают знания в виде когнитивных карт (что где 
расположено) или ожиданий (что к чему приводит). Это контрастирует с 
теорией инструментального обучения, которая предполагает, что обучение 
сводится к усилению или ослаблению специфических реакций. 


Кроссовер, кроссинговер, (от англ. Сто5боует, сгоѕѕіпвоуег — пере- 
кресток) — (биол.) одна из стадий процесса гаметогенеза, присущего 
только организмам, размножающимся половым путем. В фазе кроссовера 
хромосомы потенциального родителя, участвующие в выработке гамет, 
выстраиваются друг напротив друга, скрещиваются в некоторой средней 
точке и расходятся, обменявшись порциями генетического материала. При 
последующем оплодотворении мужская и женская гаметы (сперматозоид и 
яйцеклетка) сливаются в зиготу, диплоидную клетку, дающей начало но- 
вому организму. В эволюционном моделировании под кроссовером пони- 
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мают оператор, который формирует хромосому потомка, собирая ее из 
фрагментов родительских хромосом. Если речь идет о гаплоидной попу- 
ляции, результирующая хромосома сразу интерпретируется как самостоя- 
тельная особь. 


Ламаркизм— эволюционная теория, предшествовавшая дарвинизму. 
Ламарк верил, что эволюционное развитие идет путем наследования по- 
томками индивидуальных приспособлений, приобретенных родителями в 
течение жизни. Хотя ламаркизм не нашел подтверждения, идея наследова- 
ния результатов прижизненной адаптации успешно применяется в эволю- 
ционном моделировании. 


Мутация— оператор, вносящий изменения в структуру копии роди- 
тельской хромосомы, модифицируя значения отдельных генов в рамках 
разрешенного аллельного алфавита. 


Нейрон— (биол.) нервная клетка. В эволюционном моделировании 
нейрон (нейрод, вычислительный узел, обрабатывающий элемент) — про- 
стой линейный или нелинейный элемент, который имеет один или не- 
сколько входов, вычисляет функцию входных сигналов и передает резуль- 
тат одному или нескольким другим нейронам. 


Обобщающая способность нейронной сети— интерполирующие 
свойства. 


Обучение, тренировка нейронной сети — настройка параметров се- 
ти, Параметрическая оптимизация сети с целью снижения функции ошиб- 
ки между желаемыми и действительными значениями выходов сети. 


Оптимизация— итеративный процесс улучшения решения задачи, 
сформулированной в постановке поиска экстремума целевой функции. 


Особь — представитель определенного биологического вида, который 
характеризуется неразрывным единством генотипа и фенотипа. В эволю- 
ционном моделировании особь также обладает генотипом, однозначно оп- 
ределяющим приспособленность, и имеет смысл одного из возможных 
решений рассматриваемой задачи. 


Парадигма — самодостаточная совокупность основополагающих 
идей и принципов, позволяющая на собственной мировоззренческой осно- 
ве формировать цельную по внутреннему единству картину объектного 
мира. Сегодня можно говорить о существовании в науке двух равноправ- 
ных парадигм — классической и эволюционной. 


Популяция — группа особей одного вида, то есть обладающих одина- 
ковой структурой генотипа и поэтому способных взаимодействовать друг 
с другом, например, скрещиваться и давать потомство. 
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Приспособленность — (биол.) интегральная характеристика реализо- 
ванных организмом способностей противостоять окружающей среде. Час- 
то оценивается как коэффициент размножения, то есть количество до- 
живших до репродуктивного возраста потомков, оставленных данной осо- 
бью. В эволюционном моделировании — количественная характеристика, 
показывающая, насколько успешно особь решает поставленную задачу, и 
позволяющая сопоставить ее в этом отношении с другими особями. 


Селекция— процесс, при помощи которого некоторые особи из по- 
пуляции отбираются для получения от них потомства. Обыкновенно — на 
базе предпочтения по величине индивидуальной приспособленности. 


Хромосома — (биол.) одна из цепочек ДНК, обнаруженных в клетках. 
Хромосомы присутствуют во всех клетках организма, хотя только не- 
большая их часть активна в какой-то конкретной клетке. В эволюционном 
моделировании под хромосомой понимают фрагмент данных, содержащий 
искомые параметры. Он может быть представлен в виде бинарной строки 
или целочисленного массива. 


Элитизм — принцип формирования следующего поколения в популя- 
ции, при котором хромосомы наиболее приспособленных особей текущего 
поколения копируются в следующее поколение, не подвергаясь действию 
генетических операторов. Элитизм гарантирует сохранение в популяции 
сверхиндивидов, переходящих из поколения в поколение, но, как правило, 
ускоряет вырождение популяции, иногда преждевременное. 


Эволюционное моделирование — направление в математическом 
моделировании, объединяющее компьютерные методы моделирования 
эволюции, а также близкородственные по источнику заимствования идей 
(теоретическая биология, если таковая существует) другие направления в 
эвристическом программировании. Включает в себя как разделы генети- 
ческие алгоритмы, эволюционные стратегии, эволюционное программи- 
рование, искусственные нейронные сети, нечеткую логику. 


Эволюционная система — система, динамика развития которой опи- 
рается на принципы воспроизводства, изменчивости, соревнования и от- 
бора. 


Эпоха — одна итерация в вычислительном процессе. 
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ПРИЛОЖЕНИЕ 1. РЕЗУЛЬТАТЫ СИНТЕЗА И АНАЛИЗ 
ПАРАМЕТРИЧЕСКОЙ ЧУВСТВИТЕЛЬНОСТИ 
НЕЙРОКОНТРОЛЛЕРА 


Объект управления — инерционное звено второго порядка (8). 
Параметры динамического объекта: Т = 0,5, $=0/. 
Цель управления — подавление колебательности объекта. 


Закон управления: и, = МС(х,, Хх, |, ид). 
Дискретность управления: А = 0с. 


п 
Активационная функция нейронов скрытого слоя: у = $. их; + \ж | 
1 


Количество нейронов в скрытом слое: 5. 


Рис. П1.1 Структура нейроконтрол- Рус. П1.2 Схема работы нейроконтрол- 
лера на базе многослойного пер- лера 
цептрона ММ3—5—1 


Таблица П1.1 
Параметры нейроконтроллера 


Параметр Номер нейрона скрытого слоя Выходной 
нейрон 


ПИЕСИ ПАСИ ЕС ССМ ИСЕН 800 ЕС 
р | бов 
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0 4 8 12 


Время, с Время, с 


Время, с Время, с 


в) г) 


Рис. П1.3 Реакция системы управления (кривая 2) с нейроконтроллером на входное 
воздействие (кривая 1) в виде гармонического сигнала с единичной амплитудой и час- 
тотой а) 0; 6) 0,08; в) 0,16 и г) 0,32 Гц 

Для оценки параметрической чувствительности системы был введен 
интегральный функционал качества: 


м ах 
лбх) у [®-и (а 
АЕ © 

Здесь №3 — количество экспериментов, #„„х=10 с — время интегрирова- 
ния переходного процесса в системе, и, — ступенчатое входное задание 
амплитудой –1, 0 и 1. Значение функционала, полученное при оптималь- 
ной настройке нейроконтроллера, равно Ј=0,0235. 

На рис. П1.4 представлен график изменения функционала качества при 
изменении каждого из 26 параметров нейроконтроллера в диапазоне — 
100 - 100%. Как видно, изменение любого из 26 параметров в пределах — 
20 - 20% не приводит к существенному ухудшению качества работы сис- 
темы (статическая ошибка <5%, перерегулирование =15%, 1,2—2 колеба- 
ния переходного процесса). Такой допустимый диапазон дрейфа парамет- 


шах 
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ров от заданного оптимального значения вполне может быть обеспечен 
при использовании стандартных полупроводниковых приборов. 


Функционал качества 
ы № о Ф ә Фә У фо Ф ~ 


оорур р о о о о о 


Величина 
изменения 


Рис. П1.4. Зависимость качества работы системы управления от изменения пара- 
метров нейроконтроллера 


Тем не менее, из рис. П1.4 видно, что разные параметры нейронной се- 
ти оказывают различное влияние на эффективность ее работы. Так, изме- 
нение параметров номер 10, 11 и 24 (веса первой и второй связей третьего 
нейрона скрытого слоя и вес связи с ним выходного нейрона, соответст- 
венно) вызывает наибольшие нарушения в работе нейроконтроллера. В то 
же время 100%—ое изменение 4, 17 и 22 параметров (вес третьей связи 
первого и смещение пятого нейронов скрытого слоя и вес первой связи 
выходного нейрона, соответственно) практически не сказывается на эф- 
фективности управления. 

На рис. П1.5 представлено семейство переходных функций системы 
управления при изменении значения 11—го параметра нейроконтроллера 
в диапазоне от —100% до 100%. Изменения в пределах 50% оказывают 
влияние в основном на статическую ошибку, большие же изменения на- 
рушают также и динамические свойства системы, увеличивая колебатель- 
ность. Семейство, представленное на рис. 11.6, показывает, что изменение 
17—го параметра сказывается лишь на статической ошибке системы. 
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© © 
Е 5 Е 
9 -75% 20е 
о [е] 
[<] -50% о 0,6 
а 3 9 
21 2 2 з 
о 0% еа) 
1 25% 0,2 
0 50% 0,0 
о 2 а 6 8 1 уу, о 2 а ве в 10 
Время, с Время, с 


100% 


Рис. П1.5. Переходные функции сис- Рис. П1.6. Переходные функции сис- 


темы управления при различных темы управления при различных 
изменениях 1 |—го параметра изменениях 17—го параметра 
нейроконтроллера нейроконтроллера 


Помимо оценки изменений, вызванных варьированием значений на- 
строечных параметров нейроконтроллера, большой интерес представляет 
анализ влияния на его работу аварий в виде обрыва межслойных связей, 
выходе из строя нейронов или обрыва обратных связей всей системы 
управления. 

На рис. П1.7 представлен график изменения функционала качества ра- 
боты системы управления при последовательном, в произвольном поряд- 
ке, выходе из строя межслойных соединений (сигналы от поврежденных 
связей считаются нулевыми). Благодаря тому, что информация передается 
и обрабатывается нейронами параллельно, при обрывах межслойных свя- 
зей наблюдается не резкая утеря, а постепенная деградация работоспособ- 
ности системы. 


Функционал качества 


1 2 34 65 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 


Количество отазавших соединений 


Рис. П1.7. Изменение качества работы системы управления при 
последовательном выходе из строя связей нейронной сети 
(кривая 1 — функционал качества для поврежденной системы, 
кривая 2 — для системы без повреждений) 


Распределение функций между отдельными нейронами скрытого слоя 
можно выяснить, сравнив переходные процессы в системе при их отклю- 
чении (на выходе нейрона нулевой сигнал). Рис. П1.8 показывает, что 
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ключевая роль в данном нейроконтроллере принадлежит третьему нейро- 
ну скрытого слоя. При его аварии (рис. П1.8в) сеть теряет способность 
различать входной сигнал управления и,. (т.е. его амплитуду и поляр- 
ность), и нейроконтроллер выдает постоянный сигнал. Четвертый и пятый 
скрытые нейроны определяют, прежде всего, динамические свойства ней- 
роконтроллера, так как при их поломке (рис. ПІ.8г,д) резко увеличивается 
колебательность системы. Роль первого и второго нейронов, очевидно, 
из—за некоторой избыточности структуры нейроконтроллера менее зна- 
чительна, и их выход из строя заметен только при определенных величи- 
нах входного сигнала и, (рис. ПІ.8а,б). Таким образом, отдельные нейроны 
в сети не только делят между собой процесс вычисления, но и выполняют 
различные функции. 


Выход объекта 
Выход объекта 


ЕЕ Е ри ра 
РТО де о ый Баи а жа ва 
И Е Е Я Е БЕ 


Выход бъекта 


Выход объекта 


7012345678910 


Время, с 
в) 
© 
Е 
Ф 
2 
© 
[<] 
|= 
о 
х 
2 
кт) 


Время, с 


д) 


Рис. П1.8. Переходные процессы в системе при подаче на вход сигнала задания 
и,=—1,0,1 с отключенными а) 1—м, 6) 2—м, в) 3—м, г) 4—м, 
д) 5—м нейронами скрытого слоя 


Другой достаточно часто встречающейся аварийной ситуацией являет- 
ся обрыв обратных связей в системе управления. На рис. П1.9 представле- 
ны переходные процессы при различных вариантах аварий, при этом, как 
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и ранее, считается, что сигналы в поврежденных линиях нулевые. Как по- 
казывают эксперименты (рис. ПІ.9а), в случае обрыва обратной связи по 
выходному сигналу х; система сохраняет динамические свойства объекта 
управления, но резко ухудшается ее статическая характеристика. Обрыв 
обратной связи по задержанному выходному сигналу х; (рис. П1.96) при- 
водит к возникновению в системе устойчивого колебательного процесса с 
частотой, в три раза превышающей собственную частоту объекта управле- 
ния. В случае аварии в обоих каналах обратной связи по хх и х 
(рис. П1.9в) нейроконтроллер превращается в линейный усилитель с ко- 
эффициентом усиления 3,8. 


5 Е ТААЛАЛ 
9 $ Е ААУ УАЦИУ 
а 5 и ИИД 
Я Ч НИД 
|. |: ЕЕ 
ЕЕ 

а) б) 


Выход бъекта 


Рис. П1.9. Переходные процессы в системе при подаче на вход сигнала задания 
и=—1,0,1 с оборванными обратными связями: а) по хх; б) по ху}; 
в) одновременно по хх и ху. 


Таким образом, анализ эффективности работы нейроконтроллера при 
различных параметрических возмущениях доказывает возможность его 
аппаратной реализации и использования в реальных системах автоматиче- 
ского управления. 
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ПРИЛОЖЕНИЕ 2. ЭМУЛЯТОР КОЛЕБАТЕЛЬНОГО ЗВЕНА БЕЗ 
ЗАТУХАНИЯ 


Параметры динамического объекта Т = 0,5, с=0. 
Закон предсказания: ,, = МЕ(%, №1, м,). 
Дискретность шага предсказания: А = 0,05 с. 
Количество нейронов в скрытом слое: 29. 


и, 


ГА. 
А 


Рис. П2.1 Структура нейроэмулятора на Рис. П2.2 Схема обучения 
базе КВЕ сети ММ3З—29—1 нейроэмулятора 


1 1 3 5 7 9 11 13 15 17 19 
Время, с 
б) 


а) 


Время, с 


в) 
Рис. П2.3 Реакция динамического объекта (кривая 2) и его нейроэмулятора (кри- 
вая 3) на тестовые входные воздействия (кривая 1) в виде: а) единичного поло- 
жительного скачка; гармонических сигналов частотой 6) 0,32 Гцив) 0,64 Гц. 
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Таблица П2.1 
Параметры нейроэмулятора 


Номер С; Сі С Сзі 
нейрона 
1 1,32940000 | 0,13241723 | 4,00264870 | 3,69552579 | -0,0001097 
7,48650000 | 0,87195910 | -11,884959 | -12,633569 | -0,1450785 


Т "В 


46,97030000 | -0,1385397 | 3,44557024 | 3,41429828 | —6199,9877 
р 6,80240000 | -0,5236824 | 9,73838706 | 9,86534335 | 0,01709318 


13 
14 
15 
16 
17 
18 
19 
20 


2 


Т2] 
6:01 
ЕС 
Е 
ЕЕ 
21020] 
ИЕТ 
мо 
ЕТ 
16.2 
ЕТИМ 
Ета 
ПЕТЕ 
20 
21 


0,35210000 | -0,7376198 | 3,31480182 | 3,50859631 | -0,0004036 
49,26700000 | 0,31347508 | 2,58143453 | 2,15959841 | 29301,96984 
2 32,06610000 | -0,9139232 | –1,1400909 | -0,5133197 | -1674,9079 


29 45,60210000 | 0,36572367 | 9,68191210 | 8,59445512 | -662,99532 


22 
23 
24 
25 
26 
27 

8 
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ПРИЛОЖЕНИЕ 3. РЕЗУЛЬТАТЫ СИНТЕЗА И АНАЛИЗ 
ПАРАМЕТРИЧЕСКОЙ ЧУВСТВИТЕЛЬНОСТИ ЭМУЛЯТОРА КОЛЕ- 
БАТЕЛЬНОГО ЗВЕНА С ЗАТУХАНИЕМ 


Параметры динамического объекта Т = 0,5, $=0/. 
Закон предсказания: ў,, = МЕ(Ӯ,,#, ,и,). 
Шаг предсказания: А = 0,05 с. 


Глубина предсказания: 20 с. 
Количество нейронов в скрытом слое: 8. 


и, 


Рис. П3.1 Структура нейроэмулятора на Рис. П3.2 Схема обучения нейроэмуля- 
базе КВЕ—сети ММ3З—8—1 тора 


Таблица П3.1. 
Параметры нейроэмулятора 


нейрона 


6 53.20030000 | 06581776) —2.5003728 | —2.0844048 
99.41380000 | 0.21871813 | —1.5809023 | —1.6124321 | 4349.455315 
в 99.90230000 | —0.2195961 | —0.0883838 | —0.0166504 | –47309,744 
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Время, с Время, с 


а) 6) 


Время, с 


в) 


Рис. П3.3 Реакция динамического объекта (кривая 2) и его нейроэмулятора (кри- 
вая 3) на тестовые входные воздействия (кривая 1) в виде а) единичного положи- 
тельного скачка, гармонического сигала частотой 0) 0,32 Гцив) 0,64 Гц 


Так как целевая функция, использовавшаяся генетическим алгоритмом 
при обучении эмулятора, включала помимо ошибки в воспроизведении 
тренировочных шаблонов штраф, пропорциональный количеству узлов в 
скрытом слое, то в первом приближении можно считать, что описываемая 
сеть обладает минимальной структурой. 

Представленный ниже анализ влияния даже чрезвычайно малых иска- 
жений оптимального вектора настроек выявил очень высокую параметри- 
ческую чувствительность данного решения. Чем ее можно объяснить, пока 
не ясно. Мы думаем, три фактора могли сыграть в этом деле существен- 
ную роль. Во— первых, возможно, не стоило стремиться к минимизации 
количества скрытых нейронов. Во— вторых, отсутствие в процессе синтеза 
сети контроля за соотношением расстояний между центрами и шириной 
окон активационных функций. Наконец, в третьих, применение специфи- 
ческого локального ускорителя ГА, использующего процедуру обращения 
матрицы. Как бы ни было, это, безусловно, проблема, без решения которой 
говорить об аппаратной реализации эмулятора не приходится. 
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А) Изменение ширины окна активационной функции. 

Реакции эмулятора на ступенчатое возбуждение, соответствующие 
различным искажениям параметра 04, демонстрирует рис. П3.4. Кривая 3 
соответствует изменению параметра на 0,01% от оптимальной величины; 
при этом е=3,84. 10”. Кривая 4 соответствует изменению параметра на 
0,1%; при этом е=8,67- 10". Кривая 5 соответствует изменению параметра 
на 0,2%; при этом е=1,22. 10“. Зависимость среднеквадратичной ошибки 
от изменения параметра ©. приведена на рис. ПЗ.5. 


Выход нейроэмулятора 


Время, с 


Рис. П3.4. Влияние искажения оптимальной настройки ширины окна активаци- 

онной функции на способность нейросети эмулировать тестовый динамический 

объект. Кривая 1 — входной ступенчатый сигнал; 2 — эталонная реакция объек- 

та;3 — выход сети при 64=99,99; 4 — выход сети при 64=99,90; 5 — выход сети 
при 6=99,80. 


-0.15 -0.10 -0.05 0.00 0.05 


Изменение параметра сети, % 


Рис. П3.5. Зависимость среднеквадратичной ошибки 
от изменения параметра С 


В) Изменение координаты центра активационной функции сз в. 

Работа эмулятора демонстрируется на рис. П3.6. Кривая 3 соответству- 
ет отклонению параметра на 0,1% от оптимального значения; при этом 
е=4,61. 10`'. Кривая 4 соответствует отклонению параметра на 1%; при 
этом е=1,87. Кривая 5 соответствует отклонению параметра на 4%; при 
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этом е=12,5. Зависимость среднеквадратичной ошибки от изменения па- 
раметра сзз приведена на рис. ПЗ.7. 


Выход нейроэмулятора 


Время, с 


Рис. П3.6. Влияние искажения оптимальной настройки координаты центра акти- 
вационной функции на способность нейросети эмулировать тестовый динамиче- 
ский объект. Кривая 1 — входной ступенчатый сигнал; 2 — эталонная реакция 
объекта; 3 — выход сети при сз з=—0,01702; 4 — выход сети при сзз=-0,0172; 

5 — выход сети при сз =-0,0174. 


-4.0 0.0 4.0 8.0 12.0 16.0 20.0 


Изменение параметра сети, % 


Рис. П3.7. Зависимость среднеквадратичной ошибки от 
изменения параметра сз в. 


С) Изменение синаптического веса выходного нейрона. 

Работа эмулятора демонстрируется на рис. ПЗ.8. Кривая 3 соответству- 
ет изменению наибольшего по модулю параметра у› на 107%; при этом 
е=1,94. 10". Кривая 4 соответствует изменению параметра у» на 10%; 
при этом е=16,71. Кривая 5 соответствует изменению наименьшего по мо- 
дулю параметра у; на 0,007%; при этом е=1,54. Кривая 6 соответствует 
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изменению параметра и; на 0,1%; при этом е=80,15. Зависимость средне- 
квадратичной ошибки от изменения параметра у› приведена на рис. ПЗ.9. 


выход нейроэмулятора 


Рис. П3.8. Влияние искажения оптимальной настройки синаптического веса вы- 
ходного нейрона на способность нейросети эмулировать тестовый динамический 
объект. Кривая 1 — входной ступенчатый сигнал; 2 — эталонная реакция объек- 
та; 3 — выход сети при у›=47788,673; 4 — выход сети при "››=47788,637; 5 — 
выход сети при и%=131,180; 6 — выход сети при и%=131,280. 


-2.0е-5 -1.0е-5 0.0е+0 1.0е-5 2.0е-5 


Изменение параметра сети, % 


Рис. П3.9. Зависимость среднеквадратичной ошибки от 
изменения параметра у› 
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ПРИЛОЖЕНИЕ 4. ЭМУЛЯТОР КОЛЕБАТЕЛЬНОГО ЗВЕНА С 
СИЛЬНЫМ ЗАТУХАНИЕМ 


Параметры динамического объекта: Т = 0,5, $ = 0,5. 
Закон предсказания: #,, = МЕ(Ӯ,,#, ,и,) 
Шаг предсказания: А = 0,05 с. 


Глубина предсказания: 20 с. 
Количество нейронов в скрытом слое: 10. 


и, 


1 х; 
————— Е < ЕГ === 
Т-5 +2615 +1 


ео? 


2 
Сто 


Рис. П4.1 Структура нейроэмулятора на Рис. П4.2 Схема обучения нейроэмуля- 
базе КВЕ-сети №ҸЗ-10-1 тора 


Таблица П4.1 
Параметры нейроэмулятора 


нейрона 


ЩЕ 99.90230000 | —0.7685449 | —0,1323748| —0,0691282 | -78653,683 
Ван 0.05000000 | —0.6010585 | —0,6974816 | —0,6241169 | 0.00000881 
1000000000 | 0.91759329 | —0,2635411| —0.2578979 | —45608,521 


бб 33,56210000 | —0,5864175 | —1.0888907 | –1,1048114 | 235,1114704 
100.0000000 | 0,57451998 | 0,71946869 | 0,64836559 | 156186.9946 
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0911357 ө 11 13 15 17 19 


Время, с 


а) 6) 


Время, с 


в) 


Рис. П4.3 Реакция динамического объекта (кривая 2) и его нейроэмулятора (кри- 
вая 3) на тестовые входные воздействия (кривая 1) в виде а) единичного положи- 
тельного скачка, гармонического сигала частотой 0) 0,32 Гци в) 0,64 Гц 
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ПРИЛОЖЕНИЕ 5. ВИРТУАЛЬНЫЙ ТРАКТ УПРАВЛЕНИЯ НА БАЗЕ 
НЕЙРОЭМУЛЯТОРА 


Параметры нейроэмулятора представлены в Приложении 3. 
Дискретность управления Д, = 01 с, шаг предсказания А, = 0,05с. 


Закон управления: и, = МС(Х,, $, и). 


п 
Активационная функция скрытых нейронов у = ў их; + М0 | 
і=1 


Количество нейронов в скрытом слое: 10. 


Нейроэмулятор 
динамического 
объекта 


Рис. П5.2 Структура нейрокон- 
троллера на базе многослойного 


Рис. П5.1 Схема виртуального тракта Иан 


интеллектуальной САУ 


Таблица П5.1 
Смещение и синаптические веса скрытых нейронов нейроконтроллера 


а 
ны 

шас мааны аша а ое 
| 62% 00765] 503771 _ -65257 
ов 9] 112981 38790 


| 996 545001) 463] 62840 
[ОЕ ЗИ [8.9538 
8 1 008 — 5092] 940 47250 
| 2205 о м 2.5056. 
10] 0 2,4995] 1558 62376] 
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Таблица П5.2 
Смещение и синаптические веса выходного нейрона нейроконтроллера 


Рис. П5.3 и П5.4 демонстрируют работу нейроконтроллера в составе, 
соответственно, виртуального и прямого трактов управления интеллекту- 
альной САУ. Как видно, нейроконтроллер вполне успешно справляется 
как с нейроэмулятором, с помощью которого он был синтезирован, так и с 
самим динамическим объектом. 


Время, с Время, с 
Рис. П5.3. Выход нейроконтроллера Рис. П5.4. Работа прямого тракта 
(кривая 1) и реакция нейроэмулятора управления САУ при входных задани- 
(кривая 2) на входные задания САУ и,= ях и, = =-0,5;0;0,5. Кривая 1 — выход 
=—0,5;0;0,5. нейроконтроллера, кривая 2 — выход 


тестового динамического объекта. 
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ПРИЛОЖЕНИЕ 6. ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ И ИСКУССТВЕН- 
НЫЕ НЕЙРОННЫЕ СЕТИ В ИНТЕРНЕТЕ 


Спектр предлагаемых Интернетом услуг настолько широк, что он в со- 
стоянии изменить весь стиль научной жизни и творчества. Интернет пре- 
доставляет уникальные каналы для получения свежайшей информации по 
любому интересующему вас вопросу, предлагает реальные средства при- 
общиться к жизни мирового научного сообщества, не покидая пределов 
родного города. 

Впрочем, агитировать за Интернет вряд ли еще актуально, мы надеем- 
ся, что у вас есть к нему доступ, и хотели бы просто дать краткий список 
полезных адресов, связанных с деятельностью ГА+ИНС сообщества. 

Крупнейшим хранилищем информации в области эволюционного мо- 
делирования является ЕМСОКЕ (Тће ЕуоайоМагу СОтрщайоп КЕрозйогу 
пеіуогк) — специализированная сеть, объединяющая ЕТР-серверы веду- 
щих научно-исследовательских организаций и высших учебных заведе- 
ний, известных своими достижениями в области ГА и ИНС. Одновремен- 
но ЕМСОКЕ выступает дистрибьютором научных материалов тех учреж- 
дений, которые не имеют собственных ЕТР-серверов. Все узлы сети 
ЕМСОКЕ содержат одну и ту же информацию, доступную по протоколу 
ЕТР и \У\У/У.. В следующей таблицеце приведены адреса некоторых из 
М\М/У/У\У/-узлов. 


Таблица П6.1 
ҮҮҰҮҰ/-узлы сети ЕМСОКЕ 


Бир://тезеагсв.Сегтапу.ЕО пе: 8080/епсоге/ ЕОМЕТ, 
Германия 


ћр://Кгурќоп.џог.еѕ/~-епсоге/ Университет Гранада, 
Испания 


ћр://аіќе.ѕап(аѓе.ейо/~јоке/епсоге/ Институт Санта Фе, 


США 


ћекр://саѕѕапӣга.Біосһет.иа[Бегќа.са/-~-епсоге/ Университет Альберты, 
Канада 


ћер://ууууу.сѕ.сиһК.ҺК/раЫ/ЕС/№еІсоте.Һті Китайский университет 
Гонконга, 
Китай 


Другие серверы предлагают доступ только по протоколу ЕТР (более 
доступному на сегодняшний день). 
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Таблица П6.2 
ЕТР-серверы сети ЕМСОКЕ 


Ир://Ир.еот.лази.еди:/ри /ЕС/Уе!соте.Вит] Университет Штата Мичиган, 


Ист Лансинг, 
США 


Ир://аНе.запае.еди:/ру /ОЗЕВАВЕА/ЕС/е!соте | Институт Санта Фе, 
„Бо США 


Ир://Ёер.К1.саЦесв.еди:/рч /ЕС/У!есоте.Вит! Калифорнийский институт 
Технологий, 
США 


Ёр://Ёр.с$ \аупе.еди:/ря /ЕС/е|соте.Вит Университет Уэйна, Детройт, 
США 


Ир://р-БомК.110.а-Бегт.ае:/рчЪ /ЕС/ЛУе1 Технический университет Бер- 


соте.ћті] лина, 


Германия 
#р://Ыапсһе.роІугесһпідие.іг:/риЬ/еагкК/ЕС/№еІсоте. | Политехническая школа Пале- 
Вот Зо, 


Франция 


Ёр://&р.ісѕ.агуісК.ас.иК:/риБ/титогѕ5/ЕС/МеІсоте. | Университет Уорвик, 

Һет Великобритания 

Ер://Ир.асб.ас.та:/ри /титог/ЕС/Ае]соте.Вит Университет Кейптауна, 
ЮАР 


Ир://Ер.сеЁерг.5/ри /ЕС/Уе!соте.Н Центр технического образова- 
ния в Паране, 
Бразилия 


Примечательно, что в Америке помимо издающихся в привычном виде 
журналов (таких специализированных журналов два - Еуо]аНопагу Сотри- 
(апоп ё ІЕЕЕ Тгапзасйоп$ оп ЕуоЇопопагу Сотршайоп), выходит электрон- 
ный журнал «Тһе Сепенс Аогийт Юісеѕі». Номер объемом 4-5 страниц 
выходит почти еженедельно (60 раз в год), содержит дневник конферен- 
ций и вообще играет роль постоянно действующего круглого стола, объе- 
диняющего почти 2000 поклонников ГА со всего мира. Подписка на жур- 
нал осуществляется бесплатно. Достаточно послать запрос по электронной 
почте по адресу: ЕтаП: ва-П51-КЕОПЕ$Т@аис. пгі.пауу.тії с пометкой 
зибзсгфе в строке письма $ирјесі. Журнал имеет свой архив, доступный по 
адресам: ВИр://иии’. ас.п.пауу.тИ/ай5И или Ир://Пр.аас.п|.пазу.тИ:/ 
риђ/ваії51/. 

Другой электронный журнал, на который также можно бесплатно под- 
писаться по электронной почте, известен под названием «САММ» (Оепейс 
А1Ісогіһтѕ апа Меига| МебхогК$). Он, конечно, более специализирован и 
посвящен сугубо проблемам эволюционного синтеза нейронных сетей. 
Официальный адрес журнала, куда следует направлять запрос на подписку 
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с пометкой Зиаб5сге в строке письма $иРјесі, следующий: Ета!://запп- 
гедиеѕі@ сѕ.іаѕіаіе.ейи. 

Кроме электронных журналов в Интернете проходят заочные конфе- 
ренции. Одна из них (1° Оп-іпе Могкѕһор оп Зой Сотриние МӘСІ) была 
проведена в августе 1996 года Нагойским университетом, Япония. Проце- 
дурно конференция организована следующим образом. Вы как участник 
обязаны представить доклад в РоѕіЅсгірі формате, а после того, как орга- 
низаторы конференции сформируют страницу на сервере, ознакомиться с 
докладами и принять участие в дискуссии, осуществляемой по электрон- 
ной почте. Конференция заняла 2 недели и имела успех. Ознакомиться с ее 
материалами можно по адресу: һір://уу.Ріое/е.пиее.павоуа-и.ас.јр/№ѕс1/. 

Наконец, несколько слов о крупнейших научных и учебных центрах, 
уделяющих большое внимание просветительской работе в области ГА. 

При Алабамском университете создан Дом просвещения, который за- 
нимается распространением технических отчетов по ГА. Они хранятся в 
сжатом виде в РоѕіЅсгірі формате на ЕТР сервере университета 
Ир://агати5.с5.иа.е4и/рибЛесй-герот15/. 

В Университете Джорджа Мэйсона работает одна из наиболее сильных 
в США исследовательских групп. Многие из статей участников группы 
хранятся в виде РоѕіЅсгірі-файлов на сервере ВИр://иии.с5.эти.е4и/ 
гезеагсй/вав/. 

При университете штата Мичиган работают 2 организации, занимаю- 
щиеся вопросами распространения эволюционных технологий в мире, а 
также внедрением достижений эволюционной парадигмы в сферу про- 
мышленного производства. Первая из них, «Российско —Американский 
Консорциум по интеллектуальным САПР и Генетическим Алгоритмам», 
объединяет усилия Университета штата Мичиган, шести российских тех- 
нических университетов (Бауманское училище, Московский авиационный 
институт, Нижегородский университет, Таганрогский университет радио- 
электроники и др.), а также Харьковского политехнического университета 
в развитии эволюционных методов оптимального проектирования, а также 
в поиске новых прикладных областей для ГА. Вторая организация, так на- 
зываемый САКАСе (Сепейс А!еогт Кеѕеагсһ апа АррПсайоп Оточр), 
имеет более практическую направленность и занимается осуществлением 
финансируемых промышленностью США проектов. Некоторые из россий- 
ских участников Консорциума одновременно являются участниками 
САКАСе. Информацию об исследовательских проектах САКАСе можно 
найти в МҰ по адресу һ№р://15/.срѕ.тѕи.еаи/СА. 

Школа когнитивных и компьютерных наук Университета графства 
Сассекс, Англия, также хорошо известна своими достижениями в ГА и 
ИНС. Адрес сервера школы : һр://уу. со55.5и5х.ас.ик:Лађ/адарі. 
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В Интернете можно найти большое количество программного обеспе- 
чения по ГА и ИНС. Причем, большая часть пакетов распространяется и 
предлагается бесплатно. Исходные модули и уже скомпилированные фай- 
лы и инструкции пользователю можно найти на тех же серверах. Ниже в 
таблицах мы приведем более подробные данные по ним, а также данные, 
касающиеся пакетов, распространяемых на коммерческой основе. 

В завершение два слова об аппаратной реализации нейронных сетей. 
Сегодня, по крайней мере, девять солидных фирм (Пе Сотр.; 
МеигорупашХ, шс.; НМС, Шшс.; ЗАТС; Місго ЮРемісеѕ; Меџга№аге, Ірс.; ТибЬ 
Кеѕеагсһ Глитие4; Адариуе ЗоНопз Шшс.; ІС Тесһ) предлагают на рынке 
свои разработки в области ИНС. К сожалению, они пока что довольно до- 
рогостоящие. Для примера приведем данные по аналоговой плате 
80170М\/ фирмы һе], содержащей полностью связанную электрически 
тренируемую сеть из 64 нейронов. 


Таблица П6.3 


Нейрочипы фирмы ПУТЕГ, Согр. 


Гл 80170 сыр зе $940 
ше! ЕМВ Ми!9-СЫр Воага $9750 


пе! ИУМТ$ ММ ЮеуеІортепі Зузет $11800 


Сама [пе] по неизвестным причинам сняла плату с производства, но ее 
распространением продолжают заниматься ее партнер - МеигоВупатХ 
(Ета: ѓеслѕирроғі@пах.сот), а также разработчик специализированного 
программного обеспечения СаШогма Заепийс Ѕойуаге (Ета: 
са5с/тиитапп @ зуерзба. вувдек.сот). 


Таблица П6.4 
Некоммерческое программное обеспечение по ГА 


Название Рабочая Характеристика паке- | Кодиро- Адрес 

пакета среда/ Язык | та вание пе- | сервера 
ременных 

Оепе$1$ Первый пакет, полу- Ир.а1с.пг].пауу.т 


чивший широкое при- ШриБ/ваіѕі/ѕгс/е 
знание а/епеѕ1ѕ.гаг.2, 


Еуоішйоп Пакет для решения | вещест- Ир-Мошк.Р610. 
Масһіпе оптимизационных венное ќи-регіп.де:/ 
задач с хорошо разви- риБ/зоН\уаге/Еуо 


той графикой айоп-Масше/ 


САСА (СА Пакет для минимиза- #р://сѕ.џс1.ас.0К:/ 
Гог Сепега] ции «трудных» целе- Чагра/зара.зваг 
АррИсаНоп) вых функций 
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САММЕТ: ОМІХ/С 
Ми 
СЕМОСОР ОМІХ /С 


СЕМЫ 


и 
У\/ОГЕ: бий, 
ОМІХ/С 


САГОРР5 
3:2 


ОМІХ, 
роѕ/С 


ОМІХ, 
роѕ/С 


Пакет для 


ных задач 


теза ИНС 


Библиотека 


Построения 


Параллельный ГА с 


разными 
популяций 


нейронных сетей 


Параллельный ГА для 
решения комбинатор- 


Пакет для численной 
оптимизации с линей- 
ными ограничениями 
Многоцелевой пакет, 
в том числе для син- 


для параллельного ГА 


на базе сплайнов 


Продолжение таблицы П6.4 


синтеза 


бинарное 


вещест- 
венное, 
бинарное 


вещест- 
венное 


вещест- 
венное, 
бинарное 


вещест- 
венное 
вещест- 
венное 


модулей 


моделей 


моделями 


Ер/: Ғате.оти. 
еаџ:/еаппеі/ 
зоигсе/ 
Цр.сз.со1озже.е4 
и:/ру/СЕМГТОК 
Даг 


Ир.ипсс.е4и:/сое/ 
еуозепосор2.(аг 
ый 


Ир.пеиголаРогта 
ИК.ип- Каѕѕе]. 
ае/риБ/“ҸеџгаіМег 
5/СА-апа-М“/ 
Һер://ууүуү. 
тсѕ.апі.оу/реар 
аск.Һёт] 
Автор: 
Косегз, 
Ета|:аАгозег @ 
1151. сот 
Бр://1$1.па5а.е4иа 
/СА/5оЁ\маге/5 ой 
уаге-шаех.В т] 


Пау!а 


Таблица П6.5 


Коммерческое программное обеспечение по ИНС 


Название 
пакета 


Рабочая 
среда/ 


Язык 


пп/хпп 


Меиго Роге- 
саѕѓег 


ОМХ+Х- 
\Уіпаожѕ, 
Юо$, 
Іагіѕ, 
ІВІХ/С 


бо- 


УМ тдо\/$ 


Типы модели- 
руемых сетей 


прямонаправ- 
ленные и ре- 
куррентные 
сети, сети 
Хопфилда, 
Кохонена, 
КВЕ 

12 типов ней- 
рофаззи сетей 


Адрес 


разра- 


ботчика 


ВасКРгора- 
вайоп, Гра- 
диентный 
спуск, 
МонтеКарло 
и др. 


ВасКРгор, 
Раз Ргор, 
КВЕ, Гене- 
тический 
Алгоритм 
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Етап: аглето @ 
или. по 
ОКІ:Һир://уууу.1 
1.016.по/~агпето/ 
пеџгека/пеџгека.һћ 
[00111 


ЕтапП:ассе @ 
гесһпеї. $# 


ОУТ, Меџ- 
га! Мебмогк 
Габгагу 
(ТМ) 

№ ига! Соп- 
песйоп 


Рацеги Кес- 
о2ш@оп 
УУогкбепсһ 
Ехро/РКО 


ВгаіпМакег 
Рго 3.0 


М№Меџго- 
Ѕһе1]2/ 
М№Меџго- 
\Уіпаоуѕ 


М№еџгоГаБ, 
А М№еџга1 
М№МегуогКк 
Гльгаг 
Название 
пакета 


№ № иго- 
Сепейс 
Орітхег 
2.0 

ЗАЗ Меига| 
МеѓуогКк 
АррПсайоп 


МАТГАВ 

№ ига! М№Меѓ- 
могк Тоо]- 
Бох 


УМ т- 
до\5/С, 
Ваз1с, 
Разса1 


Рабочая 
среда/ 
Язык 


У тдом- 
505/2, 
Ѕо]Іагіѕ, 
АІХ 

Роз, Уш- 
40% 


20 типов сетей 


прямонаправ- 
ленные сети, 
сети Кохоне- 
на, КВЕ 
прямонаправ- 
ленные сети, 
ВВЕ 


прямонаправ- 
ленные сети 


15 типов, 
включая пря- 
монаправлен- 
ные сети, сети 
Кохонена 
любые архи- 
тектуры из 70 
функциональ- 
ных блоков 
Типы модели- 
руемых сетей 


прямонаправ- 
ленные сети, 
КВЕ 


прямонаправ- 
ленные сети, 
КВЕ 


прямонаправ- 
ленные и ре- 
куррентные 
сети, сети 
Хопфилда, 
Кохонена, 
КВЕ 
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Продолжение таблицы 16.5 


ВасКРго- 
разайоп, Ге- 
нетический 
Алгоритм 
ОшсКРгор, 
градиентный 
спуск, Гене- 
тический 
Алгоритм 
Градиентный 
спуск, Гене- 
тический 
Алгоритм 


Васк- 
Ргораганоп 


Генетичес- 
кий Алго- 
ритм 


стохасти- 
ческая опти- 
мизация, 
ГУО и др. 
более 10 ви- 
дов, включая 
самообуче- 
ние 


Ета:ргойтію®@ 
Бурейо21с.сот 


Ета:ѕаІеѕ @ 
$р$$.сот 


Ета Илаиса@ 
ипіса-иѕа. сот 


Етап:са1ѕсі!т1ќ 
тапп @ суорза. 
эусдеК.сот 


Ета: У/агаЗу$е 
115 @ тзп.сот 
ОКІ:ћир://уууу. 
Магаѕуѕіетѕ. 
сот 

Етап: пеиго]аб- 
Ітѓо©@тіКкипі.сот 


Адрес 
ботчика 


разра- 


Етап:Ыосотр@ 
Ыосотр.зеапей. 
сот 


Ета|:еигохЬ @ 
тУ$.$а8.сот 


Һер://ууүуү. 
таіһуогКѕ.сот 


Таблица П6.7 
Некоммерческое программное обеспечение по ИНС 


Название Рабочая Типы моделируемых | Метод Адрес сервера 
пакета среда/ Язык | сетей обучения 
ОМІХ с Х- | прямонаправленные и | ВасКРго- | Ир:/Ту@га.рзу.с 


У! тао\з/ | рекуррентные сети, | равайоп | Ша.еди/ри /рар+ 


С++ сети Хопфилда +/ 
ИЛИ 


#р://ипіх Вепза.а 
с.оКк/тіттогѕ/рар 
++/ 
М№еуРгор, ОМІХ, р05/ | прямонаправленные | ОшсКРгор, | Ќр.ѕсѕ.ипг.ейи 
МъМеуайа градиент- [134.197.10. 130] 
Ргоравайоп ный спуск 


Ұ.а№М№ Упдомз прямонаправленные | ВасКРго- | Ќр.сс.топаѕћ.ей 
сети равайоп о.ашриЬ/ 
у1пз/рговгатг/у 
101197 .71р 


Название Рабочая Типы моделируемых | Метод Адрес сервера 
пакета среда/ Язык | сетей обучения 


АІМЕТ Ұ1пӣоуѕ прямонаправленные Ёр://бр.сіса.іпаі- 
сети апа.ейџ/риЬ/рс/у 

113/ рго- 
этатт/ате{ 100.71 
р 
или #р://оак. 
оакјапа.ейо/ 
51тТе/у1п3/ 
та/аіпес100.71р 


5ММ 4.1 | 50105, 50- | прямонаправленные и | ВасКРгор, | Ќр.іпѓёогтайк. 
«Ѕіибоагї Іагіѕ, ПХ, | рекуррентные сети, ОшскКРгор, | чпі-ѕ5(0еагі.е 
М ига! Мес | ОЛеніх, сети Хопфилда ВВЕ [129.69.211.2] 
могк Ѕітиа- | ОЗЕ/С Кргор, 
ог» Саѕсайе- 

Сотге!айоп 

и пр. 


При подготовке справочных материалов, представленных в Приложе- 
нии 6, мы опирались в основном на данные из следующих источников: 

1. Неикоейег Ј., Веа$еу О. Тһе НИсв-НЩег'$ Сшае ёо Еуоіобопагу 
Сотриќабйоп: А 15 оғ Егедиепйу Аѕкеа Опезйот$ (ГАО)//ОЗЕМЕТ: 
сотр.а1.сепенс. 

АуаПаЫе у1а апопутои$ ЕТР от 

гіЁт.т1.еао:/риБ/иѕепеі/пеуѕ.апѕуегѕ/а1-Ғад/оепейс/ 
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2. Ѕапе \.5. Меига! пеіуогк ЕАО //ОЗЕМЕТ: сотр.а1.пеига|-пе$. 
АуаПаЫе у1а апопутои$ ЕТР от 
Ир://р.заз.сот/риБ/пеига/ЕАО. Вей. 


Отклики на книгу просим направлять по адресу: Украина, 310002 Харьков, 

ул. Фрунзе, 21, Харьковский государственный политехнический университет. Ка- 
федра Автоматизированные электромеханические системы, С.А.Сергееву, или по 
электронной почте: ѕегоееу @ Іоќиѕ.Крі.Кһагкоу.џа 
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